本篇內容介紹了“hadoop機制有哪些”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
10年積累的成都網站設計、成都網站建設經驗,可以快速應對客戶對網站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網絡服務。我雖然不認識你,你也不認識我。但先網站設計后付款的網站建設流程,更有東鄉族免費網站建設讓你可以放心的選擇與我們合作。1.簡述 checkpoint機制
這里主要是用到了SN的作用,通過SN復制了原NN中的日志文件和SN中原有的鏡像文件相結合,通過這樣的原理,SN等同于是NN的一個副本,當NN服務器遇到故障重啟時,可以通過SN來恢復數據。
2.如何單獨重啟 Namenode
dfs-sh.start
3.簡述HDFS讀數據原理
客戶端將請求發給NN,然后NN同意讀數據,然后NN通過客戶端的請求信息從它里面的元數據去找數據的位置(存儲要讀取的數據的block塊在那三個DN里),然后把這些信息返回給客戶端,客戶端再通過這些信息去DN中拿數據。
4.如何啟動zookeeper集群,如何確定zookeeper集群啟動成功,如何停止zookeeper集群
ZkCli.sh,zkCli.sh status,zkCli.sh stop
5.簡述HDFS的HA高可用集群原理
最少需要兩臺NN服務器,當其中一臺NN服務器遇到故障,hadoop由于自帶了一個False檢測文件,它會間隔一小段時間就會向另一臺服務器發送心跳告訴另一臺服務器,它監管的這臺在用的服務器有沒有問題,監測正在運行服務器是不是壞掉了,當它檢測到服務器壞掉之后,它會告訴它連接的另一臺在standby的服務器,然后standby的服務器就會啟動。
關于standby的服務器如何和正在運行的服務器的數據保持一致:
兩臺服務器之間有一個數據文件監管系統,由zookeeper集群管理它,通過zookeeper保證它的數據一致性并且對它進行上下文調度管理,它用來保存runing服務器的變化的日志文件,然后發送到standby服務器上,standby服務器會根據這些日志文件以及本身的元數據形成一個與running服務器保持一致的服務器。
關于腦裂:有時候可能因為網絡原因,false檢查工具還是發送了需求讓standby啟動,這樣就同時存在了兩臺NN服務器,這時候數據就會混亂。
腦裂的處理辦法:1. kill -9 2.使用shell腳本
“hadoop機制有哪些”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注創新互聯-成都網站建設公司網站,小編將為大家輸出更多高質量的實用文章!
本文名稱:hadoop機制有哪些-創新互聯
標題URL:http://vcdvsql.cn/article4/dgohoe.html
成都網站建設公司_創新互聯,為您提供微信公眾號、全網營銷推廣、商城網站、服務器托管、外貿建站、ChatGPT
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯