這篇文章主要介紹了CDH網(wǎng)絡(luò)要求的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站制作、網(wǎng)站建設(shè)、崇川網(wǎng)絡(luò)推廣、微信平臺小程序開發(fā)、崇川網(wǎng)絡(luò)營銷、崇川企業(yè)策劃、崇川品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供崇川建站搭建服務(wù)，24小時服務(wù)熱線：028-86922220，官方網(wǎng)址：vcdvsql.cn

1.組網(wǎng)配置

    建議的Cloudera組網(wǎng)配置如下圖，主要包含數(shù)據(jù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)。

2.數(shù)據(jù)網(wǎng)絡(luò)

    數(shù)據(jù)網(wǎng)絡(luò)是用于數(shù)據(jù)訪問的節(jié)點(diǎn)之間的私有集群數(shù)據(jù)互連，比如在集群內(nèi)的節(jié)點(diǎn)之間移動數(shù)據(jù)，或者將數(shù)據(jù)導(dǎo)入到CDH集群。CDH集群通常會連接到企業(yè)內(nèi)部的數(shù)據(jù)網(wǎng)絡(luò)。

    需要2個TOR交換機(jī)：一個是用作帶外管理，一個是用于CDH的數(shù)據(jù)網(wǎng)絡(luò)。節(jié)點(diǎn)的帶外管理至少需要一個1GbE交換機(jī)。數(shù)據(jù)網(wǎng)絡(luò)的交換機(jī)一般為10GbE，具體取決于工作負(fù)載。

    推薦的1GbE交換機(jī)是Lenovo RackSwitch G8052。10Gb以太網(wǎng)交換機(jī)可以提供額外的I/O帶寬，以獲得更好的性能。推薦的10GbE交換機(jī)是Lenovo System NetworkingRackSwitch 8272。

    每個節(jié)點(diǎn)的兩個Broadcom 10GbE端口可以綁定后連接到G8272交換機(jī)，從而提高性能或配置HA。數(shù)據(jù)網(wǎng)絡(luò)可以配置為使用VLAN。

注：無論是工作節(jié)點(diǎn)還是管理節(jié)點(diǎn)，Cloudera都不支持multi-homing。

3.硬件管理網(wǎng)絡(luò)

    硬件管理網(wǎng)絡(luò)是用于帶外硬件管理的1 GbE網(wǎng)絡(luò)。通過System x3650 M5服務(wù)器中的集成管理模塊II（IMM2），帶外管理可實(shí)現(xiàn)集群節(jié)點(diǎn)的硬件級管理，如節(jié)點(diǎn)部署，基本輸入/輸出系統(tǒng)（BIOS）配置，狀態(tài)和電源狀態(tài)。

    Hadoop不依賴于IMM2。根據(jù)客戶要求，管理鏈接可以分隔到不同的VLAN或子網(wǎng)上。 管理網(wǎng)絡(luò)通常直接連接到客戶的管理網(wǎng)絡(luò)。

參考架構(gòu)需要一個1 Gb以太網(wǎng)TOR交換機(jī)用于硬件管理網(wǎng)絡(luò)。管理員還可以通過客戶管理網(wǎng)絡(luò)訪問集群中的所有節(jié)點(diǎn)，在第一章的圖中，管理鏈路連接到集成的1 GBaseT適配器上的專用IMM2端口。

4.多機(jī)架的網(wǎng)絡(luò)

    以上談到的數(shù)據(jù)網(wǎng)絡(luò)的參考架構(gòu)配置是由單個網(wǎng)絡(luò)拓?fù)錁?gòu)成的。如果是多機(jī)架的架構(gòu)，還需要一個聯(lián)想RackSwitch G8316核心交換機(jī)。 在這種情況下，第二個Broadcom10 GbE端口可以連接到第二個Lenovo RackSwitch G8272。G8272的過載率（over-subscription ratio）是1：2.

下圖展示了當(dāng)CDH集群安裝在多個機(jī)架上時，如何配置網(wǎng)絡(luò)。每個機(jī)架的G8272交換機(jī)通過兩個聚合的40 GbE上行鏈路連接到核心G8316交換機(jī)。

注：為了簡化這個圖，圖中僅繪制了一個G8272，但是推薦使用兩個G8272并配置為HA。

跨機(jī)架的交換機(jī)推薦40GbE的，可以用Lenovo System NetworkingRackSwitch G8316。最佳實(shí)踐是為每個機(jī)架安裝冗余的核心交換機(jī)，以避免單點(diǎn)故障。在每個機(jī)架內(nèi)，G8052交換機(jī)可以選擇配置為具有兩個G8272交換機(jī)的上行鏈路，以允許通過G8316核心交換機(jī)在集群機(jī)架之間傳播管理VLAN。對于大型集群，推薦使用Lenovo System NetworkingRackSwitch G8332，因?yàn)槊總€40 Gb的端口的價格比G8316要更低。可以配置成許多機(jī)架能互相訪問網(wǎng)絡(luò)，但可能需要做一些特定的部署配置來滿足超過3個機(jī)架的快速尋址。

如果開始規(guī)劃的就是多機(jī)架的解決方案，或者隨著系統(tǒng)的擴(kuò)容后面慢慢的加入了一些機(jī)架，CDH管理服務(wù)相關(guān)的節(jié)點(diǎn)我們建議分開部署在不同的機(jī)架從而最大化容錯。

5.CDH其他網(wǎng)絡(luò)要求

Hadoop網(wǎng)絡(luò)要求：

1.所有的Hadoop服務(wù)器節(jié)點(diǎn)應(yīng)該是獨(dú)有的網(wǎng)絡(luò)，而不存在跟其他應(yīng)用程序的節(jié)點(diǎn)共享網(wǎng)絡(luò)I/O的情況。

2.每個服務(wù)器應(yīng)該都配置靜態(tài)IP。如果配置了動態(tài)IP，在機(jī)器重啟或者DNS租約過期時，機(jī)器的IP地址會改變，這將導(dǎo)致Hadoop服務(wù)故障。

3.專用TOR交換機(jī)。

4.專用的核心交換刀片或者核心交換機(jī)。

5.盡量保證應(yīng)用服務(wù)器與Hadoop“近”一些。

6.CDH只支持IPv4，不支持IPv6

7.機(jī)架之間的網(wǎng)絡(luò)連接速度應(yīng)該足夠快。

8.確保網(wǎng)絡(luò)接口對于集群中的所有節(jié)點(diǎn)應(yīng)該是一致的。（比如MTU設(shè)置應(yīng)該一樣）

9.關(guān)閉所有節(jié)點(diǎn)的Huge Page compaction

10.確保集群中的所有網(wǎng)絡(luò)連接都會被監(jiān)控，比如沖突和丟包問題。以方便后期進(jìn)行排障。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“CDH網(wǎng)絡(luò)要求的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

分享題目：CDH網(wǎng)絡(luò)要求的示例分析
當(dāng)前鏈接：http://vcdvsql.cn/article24/pejjce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、建站公司、軟件開發(fā)、網(wǎng)站營銷、域名注冊、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)