HDFS 全稱為Hadoop Distributed File System，是 hadoop 分布式文件系統，具體來說，是指被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統(Distributed File System)。最主要的作用是作為 Hadoop 生態中各系統的存儲服務。HDFS是Hadoop項目的核心子項目，為分布式計算中，數據存儲管理的基礎，HDFS是基于流數據模式訪問和處理超大文件的需求被開發出來的，能夠在廉價的商用服務器上運行。HDFS 具有高容錯性、高可靠性、高可擴展性、高獲得性、高吞吐率等特征，這些特征使得HDFS為海量數據提供了不怕故障的存儲，從而為超大數據集(Large Data Set)的應用處理帶來了很多便利。

一、HDFS特征

高度容錯性：HDFS 最核心的架構目標是，錯誤檢測和快速、自動的恢復 。數據會自動保存多個副本。它通過增加副本的形式，而且就算某一副本丟失，HDFS也能自動恢復。

支持大規模數據集： HDFS 應用具有很大的數據集，可以支持整體上高的數據傳輸帶寬，并且能夠支撐數以千萬集的文件。

支持流式讀取數據： 一次寫入，多次讀取。而且文件一旦寫入，就不能進行修改，只能追加。這樣很好的保證了數據的一致性。

高吞吐量：吞吐量是指單位時間內完成的工作量。HDFS通過并行處理數據，從而大大減少了處理時間，實現了高吞吐量。

移動計算而非移動數據：一個應用的請求，如果離它操作的數據越近就會越高效，HDFS會把數據位置暴露給計算框架， 提供了將它們自己移動到數據附近的接口。

異構軟硬件平臺間的可移植性：平臺的可移植性，方便用戶也方便 HDFS 作為大規模數據應用平臺的推廣。

二、HDFS 常用命令參數

三、HDFS工作機制

1. HDFS集群包括兩大角色：NameNode、DataNode

2. NameNode負責管理整個文件系統的元數據

3. DataNode 負責管理用戶的文件數據塊

4. 文件會按照固定的大小(blocksize)切分成若干塊后，分布式存儲于若干臺datanode上

5. 每一個文件塊能夠有多個副本，并存放在不同的datanode上

6. Datanode定期會向Namenode匯報自身保存的文件block信息，而namenode就會負責保持文件的副本數量

7. HDFS的內部工作機制對客戶端保持透明，客戶端請求訪問HDFS都是以通過向namenode申請進行的

HDFS文件寫入時：首先要跟namenode通信以確認可以寫文件并獲得接收文件block的datanode，然后，客戶端按順序將文件逐個block傳遞給相應datanode，并由接收到block的datanode負責向其他datanode復制block的副本

HDFS文件讀?。簩⒁x取的文件路徑發送給namenode，namenode獲取文件的元信息(主要是block的存放位置信息)返回給客戶端，客戶端根據返回的信息找到相應datanode逐個獲取文件的block并在客戶端本地進行數據追加合并從而獲得整個文件