原文在此

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴，公司提供的服務項目有：國際域名空間、虛擬主機、營銷軟件、網站建設、軹城網站維護、網站推廣。

https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

hadoop 兩大組件 mapreduce和hdfs

用HDFS的目標

避免硬件故障

硬件故障是常態，而不是例外。一個HDFS實例可能包括數百或數千個服務器，存儲文件系統的部分數據。事實上，有大量的組件，每個組件都有一個非平凡的失效概率意味著HDFS的一些組件總是非功能。因此，故障的快速檢測，從自動的恢復是HDFS的一個核心構架目標。

流式數據訪問

應用程序運行在HDFS需要流媒體訪問他們的數據集。它們不是一般用途的文件系統上運行的通用應用程序。HDFS被設計為批處理，而不是由用戶交互使用。重點是高吞吐量的數據訪問，而不是低延遲的數據訪問。POSIX的一些要求是不是有針對性的HDFS的應用所需要的。在幾個關鍵的領域POSIX語義被交易來增加數據吞吐量。

大數據集

HDFS上運行的應用程序有大量的數據集。HDFS中典型的文件大小百萬兆字節字節。因此，HDFS被調諧到支持大文件。它應該為單個集群中的數百個節點提供高聚合數據帶寬和規模。它應該在一個實例中支持數以千萬計的文件。

一致性模型

HDFS的應用需要寫一次讀文件的許多訪問模型。創建、寫入和關閉的文件不需要更改。這種假設簡化了數據一致性問題，并允許高吞吐量數據訪問。MapReduce應用程序或Web爬蟲應用程序非常適合這個模型。有一個計劃支持在將來追加對文件的寫操作。

移動計算比移動數據便宜

應用程序請求的計算如果在其所運行的數據附近執行，則效率要高得多。當數據集的大小是巨大的時，情況尤其如此。這減少了網絡擁塞，提高了系統的總體吞吐量。假設是，將計算遷移到數據位置的位置通常更好，而不是將數據移動到應用程序運行的地方。HDFS提供的接口的應用將更接近數據所在。

跨異構硬件和軟件平臺的可移植性

HDFS被設計為可以很容易從一個平臺移植到另一個。這有利于廣泛采用HDFS作為一個大的應用平臺的選擇。

節點和數據節點

HDFS有主從式架構。一個HDFS集群由一個單一的節點，一個主服務器，管理文件系統的命名空間和調節客戶訪問文件。此外，有多個數據節點，通常每一個節點的集群，其中管理連接到節點，它們運行在存儲。HDFS文件系統命名空間暴露并允許用戶將數據存儲在文件中。在內部，一個文件被分成一個或多個數據塊，這些塊存儲在一組數據節點。Namenode執行文件系統的命名空間操作如打開，關閉，和重命名文件和目錄。這也決定了數據塊到數據節點的映射。數據節點負責為讀寫文件系統的客戶端的請求。數據節點執行創建，刪除，并從NameNode在指令復制。

原理圖

復制原理

HDFS的設計可靠地存儲非常大的文件在機器在一大簇。它將每個文件存儲成一組塊；除了最后一個塊之外，文件中的所有塊都是相同的大小。文件的塊被復制用于容錯。塊大小和復制因子可配置為每個文件。應用程序可以指定文件副本的個數。復制因子可以在文件創建時指定，以后可以更改。文件在HDFS寫一次，隨時都有嚴格的作家。

對于復制塊的所有決定。它定期收到的心跳，從集群中的每個數據節點blockreport。一個心跳的收據表明DataNode運行正常。一個blockreport列出所有在DataNode塊。

翻譯文，請笑納。。。。

FS Shell 文件操作

Action

Command

Create a directory named /foodir

bin/hadoop dfs -mkdir /foodir

Remove a directory named /foodir

bin/hadoop dfs -rmr /foodir

View the contents of a file named /foodir/myfile.txt

bin/hadoop dfs -cat /foodir/myfile.txt

FS shell is targeted for applications that need a scripting language to interact with the stored data.

DFSAdmin

The DFSAdmin command set is used for administering an HDFS cluster. These are commands that are used only by an HDFS administrator. Here are some sample action/command pairs:

Action

Command

Put the cluster in Safemode

bin/hadoop dfsadmin -safemode enter

Generate a list of DataNodes

bin/hadoop dfsadmin -report

Recommission or decommission DataNode(s)

bin/hadoop dfsadmin -refreshNodes

api的鏈接如下，可以用c或者java

http://hadoop.apache.org/docs/current/api/

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網頁名稱：HDFS實驗(一)原理-創新互聯
本文鏈接：http://vcdvsql.cn/article32/csepsc.html

成都網站建設公司_創新互聯，為您提供外貿建站、用戶體驗、ChatGPT、品牌網站建設、企業網站制作、網站維護

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯