這篇文章主要介紹“ResourceManager主要的組件有哪些”，在日常操作中，相信很多人在ResourceManager主要的組件有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”ResourceManager主要的組件有哪些”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

公司主營業務：網站建設、網站設計、移動網站開發等業務。幫助企業客戶真正實現互聯網宣傳，提高企業的競爭能力。創新互聯建站是一支青春激揚、勤奮敬業、活力青春激揚、勤奮敬業、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創新互聯建站推出西平免費做網站回饋大家。

在hadoop0.23版本中，MapReduce相比原先有了一個完全的顛覆，現在我們有了稱作MapReduce 2.0(MRv2)的YARN。

MRv2最核心的概念是，將JobTrack中兩個最重要的功能resource management和job scheduling/monitoring分隔開，形成不同的守護進程。由此概念產生了一個全局的ResourceManager(RM)和per-application（每個application一個的） ApplicationMaster(AM)。一個application是Map-Reducejobs傳統場景中的一個job，或者jobs的一個DAG(Directed Acyclic Graph有向無環圖)。

ResourceManager、per-node slave、NodeManager(NM)形成了data-computation framework。在系統所有application的資源分配上，ResourceManager擁有最高權限。

Per-application ApplicationMaster實際上是一個framework specific library，同時它的任務是調度從ResourceManager分配下來的資源，并且同NodeManager(s)一起工作來執行并監控tasks。

ResourceManager有兩個主要的組件：Scheduler和ApplicationsManager。

The Scheduler is responsible for allocating resources to various running applications subject to familiar constraints of capacities, queues etc[J1] . Scheduler只用于調度的場景，它不會監控或者追蹤application的狀態。同樣的，它不能夠在由于application或硬件失敗導致task失敗后重啟task。Scheduler基于applications對于resource的需求來履行他的調度功能；它基于一個resource Container的抽象概念，container由各種資源組成，如內存、cpu、磁盤、網絡等。在開始的版本中，支持內存。

Scheduler有一個可插拔的plug-in，它的作用是為各種queues、applications等等分割集群的resources。當前的Map-Reduce scheduler比如CapacityScheduler和FairScheduler就是這樣的例子。

The CapacityScheduler supports hierarchical queues to allow for more predictable sharing of cluster resources.

ApplicationsManager負責接收job的提交，分配初始的container來執行特定ApplicationMaster的application，provides the service for restarting the ApplicationMaster container on failure.

NodeManager是一個per-machine framework agent，它的作用是監控containers的resource(cpu, 內存，磁盤，網絡)，并如實report給ResourceManager/Scheduler。

Per-application ApplicationMaster 的責任是把從Scheduler得到的資源組合成適當的resource container，追蹤它們的狀態并監控其過程。

MRv2的API與上一個版本(Hadoop-0.20.205)是向下兼容的。這意味著所有原有的Map-Reduce jobs只需要重新編譯一下應該就可以不加修改運行在MRv2上。

到此，關于“ResourceManager主要的組件有哪些”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注創新互聯網站，小編會繼續努力為大家帶來更多實用的文章！

網站題目：ResourceManager主要的組件有哪些
本文鏈接：http://vcdvsql.cn/article16/pdepdg.html

成都網站建設公司_創新互聯，為您提供虛擬主機、品牌網站建設、做網站、靜態網站、網站導航、網站設計

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯