1、HDFS

創新互聯專注于企業全網營銷推廣、網站重做改版、正藍網站定制設計、自適應品牌網站建設、H5頁面制作、商城系統網站開發、集團公司官網建設、成都外貿網站建設、高端網站制作、響應式網頁設計等建站業務，價格優惠性價比高，為正藍等各大城市提供網站開發制作服務。

HDFS（Hadoop Distributed File System）是Hadoop項目的核心子項目，是分布式計算中數據存儲管理的基礎，是基于流數據模式訪問和處理超大文件的需求而開發的，可以運行于廉價的商用服務器上。它所具有的高容錯、高可靠性、高可擴展性、高獲得性、高吞吐率等特征為海量數據提供了不怕故障的存儲，為超大數據集（Large Data Set）的應用處理帶來了很多便利。

2、HDFS

HDFS 源于 Google 在2003年10月份發表的GFS（Google File System） 論文。

3、HDFS的優缺點

 優點：

1、高容錯性

• 數據自動保存多個副本。它通過增加副本的形式，提高容錯性。

• 某一個副本丟失以后，它可以自動恢復，這是由 HDFS 內部機制實現的，我們不必關心。

2、適合批處理

• 它是通過移動計算而不是移動數據。

• 它會把數據位置暴露給計算框架。

3、適合大數據處理

• 處理數據達到 GB、TB、甚至PB級別的數據。

• 能夠處理百萬規模以上的文件數量，數量相當之大。

• 能夠處理10K節點的規模。

4、流式文件訪問

• 簡化一致性模型，實現一次寫入，多次讀取。文件一旦寫入不能修改，只能追加。

• 它能保證數據的一致性。

5、可構建在廉價機器上

• 它通過多副本機制，提高可靠性。

• 它提供了容錯和恢復機制。比如某一個副本丟失，可以通過其它副本來恢復。

缺點：

1、低延時數據訪問

         * 比如毫秒級的來存儲數據，這是不行的，它做不到。

         * 它適合高吞吐率的場景，就是在某一時間內寫入大量的數據。但是           它在低延時的情況下是不行的，比如毫秒級以內讀取數據，這樣它           是很難做到的。

2、小文件存儲

        *存儲大量小文件(這里的小文件是指小于HDFS系統的Block大小的文         件（默認64M）)的話，它會占用 NameNode大量的內存來存儲文           件、目錄和塊信息。這樣是不可取的，因為NameNode的內存總是有          限的。

        *小文件存儲的尋道時間會超過讀取時間，它違反了HDFS的設計目           標。

3、并發寫入、文件隨機修改

        *一個文件只能有一個寫，不允許多個線程同時寫。

        *僅支持數據 append（追加），不支持文件的隨機修改。

 hdfs的特性：

      * 高容錯，可擴展性及可配置性強

      * 跨平臺

      * shell命令接口

      * 機架感知功能

      * 負載均衡

      Web界面

4.HDFS存儲數據

HDFS 采用Master/Slave的架構來存儲數據，這種架構主要由HDFS Client、NameNode、DataNode和Secondary NameNode四個部分組成。

1、Client：就是客戶端。

• 文件切分。文件上傳 HDFS 的時候，Client 將文件切分成 一個一個的Block，然后進行存儲。

• 與 NameNode 交互，獲取文件的位置信息。

• 與 DataNode 交互，讀取或者寫入數據。

• Client 提供一些命令來管理 HDFS，比如啟動或者關閉HDFS。

• Client 可以通過一些命令來訪問 HDFS。

2、NameNode：就是 master，它是一個主管、管理者。

• 管理 HDFS 的名稱空間

• 管理數據塊（Block）映射信息

• 配置副本策略

• 處理客戶端讀寫請求。

  

3、DataNode：就是Slave。NameNode 下達命令，DataNode 執行實際的操作。

• 存儲實際的數據塊。

• 執行數據塊的讀/寫操作。

4、Secondary NameNode：并非 NameNode 的熱備。當NameNode 掛掉的時候，它并不能馬上替換 NameNode 并提供服務。

• 輔助 NameNode，分擔其工作量。

• 定期合并 fsimage和fsedits，并推送給NameNode。

• 在緊急情況下，可輔助恢復 NameNode。

工作流程：

      secondarynamenode通知namenode切換edits文件

      secondarynamenode從namenode獲得fsimage和edits(通過http)

      secondarynamenode將fsimage載入內存，然后開始合并edits

      secondarynamenode將新的fsimage發回給namenode

      namenode用新的fsimage替換舊的fsimage

5.數據損壞處理

     * 當DN（DataNode）讀取block的時候，它會計算checksum；

     * 如果計算后的checksum，與block創建時值不一樣，說明該block已經損壞。

     * client讀取其它DN上的block；NN(NameNode)標記該塊已經損壞，然后復制block達到預期設置的文件備份數；

     * DN在其文件創建后三周驗證其checksum。

  關注大數據and機器學習公眾號，一起開創未來。

CLbigdata

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享題目：淺談HDFS架構-創新互聯
文章位置：http://vcdvsql.cn/article12/ccssgc.html

成都網站建設公司_創新互聯，為您提供營銷型網站建設、網站策劃、企業建站、Google、外貿網站建設、App設計

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯