Hadoop分布式文件系統

創新互聯網站建設公司一直秉承“誠信做人，踏實做事”的原則，不欺瞞客戶，是我們最起碼的底線！ 以服務為基礎，以質量求生存，以技術求發展，成交一個客戶多一個朋友！專注中小微企業官網定制，網站制作、成都網站建設，塑造企業網絡形象打造互聯網企業效應。

HDFS Hadoop Distributed Filesystem

分布式文件系統：當數據集大到超過一臺獨立的計算機存儲能力時，就需要存儲到若干臺單獨的計算機上，管理網絡中跨多臺計算機存儲的文件系統稱為分布式文件系統。

分布式文件系統復雜性：需要考慮節點故障、不丟失任何數據。

HDFS以流式數據訪問模式來存儲超大文件，運行于商用硬件集群上。

1.超大文件：TB甚至PB級。

2.流式數據訪問：一次寫入，多次讀取是最高效地訪問模式。在數據集上長時間進行各類分析，每次分析都涉及到數據集的大部分甚至全部。

3.商用硬件：不需要昂貴且高可靠的硬件，商用硬件，高故障率，但不被用戶察覺。

不適合運行在HDFS上：

1.低延遲的數據訪問：高數據吞吐量，以高時間延遲為代價。

2.大量的小文件：namenode將文件系統的元數據存儲在內存中，所能存儲的文件總數受限于namenode的內存總量。

3.多用戶寫入，任意修改文件：一個writer，寫操作總是將數據添加到文件的末尾。

數據塊：

HDFS的數據塊，默認64MB。

HDFS的快比磁盤的塊大，目的是為了最小化尋址開銷。如果塊設置的足夠大，從磁盤傳輸數據的時間可以明顯的大于定位這個塊開始位置所需的時間。這樣，傳輸一個由多個塊組成的文件的時間取決于磁盤傳輸速率。

塊概念的抽象好處：

1.一個文件的大小可以大于網絡中任意一個磁盤的容量。一個文件的所有塊不需要存儲在同一個磁盤上。

2.使用塊而非文件作為存儲單元，簡化存儲管理。

3.塊非常適用于數據備份進而提供數據容錯能力和可用性。

namenode和datanode

HDFS集群有兩類節點，并以管理者-工作者模式運行，即一個namenode（管理者）和多個datanode（工作者）。

namenode管理文件系統的命名空間，維護著文件系統樹及整棵樹內所有的文件和目錄。

datanode是文件系統的工作節點，它們根據需要存儲并檢索數據塊（受客戶端或namenode調度），并且定期向namenode發送它們所存儲的塊的列表。

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享題目：HDFS簡介-創新互聯
文章來源：http://vcdvsql.cn/article46/iegeg.html

成都網站建設公司_創新互聯，為您提供App開發、域名注冊、品牌網站建設、ChatGPT、網站導航、企業網站制作

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯