進入到執(zhí)行：/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml

為東城等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及東城網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為網(wǎng)站制作、成都網(wǎng)站建設、東城網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

[配置部分]

[hdfs-site.xml]

1.配置名稱服務:dfs.nameservices

名稱服務的邏輯名。

<property>

  <name>dfs.nameservices</name>

  <value>mycluster</value>

</property>

2.配置nameservice中每個namenode

dfs.ha.namenodes.[nameservice ID]

<property>

  <name>dfs.ha.namenodes.mycluster</name>

  <value>nn1,nn2</value>

</property>

注意：目前的hadoop2.7.2最多只能配置2個namenode。

3.配置每個namede的rpc地址

<property>

  <name>dfs.namenode.rpc-address.mycluster.nn1</name>

  <value>s1:8020</value>

</property>

<property>

  <name>dfs.namenode.rpc-address.mycluster.nn2</name>

  <value>s8:8020</value>

</property>

4.配置每個namenode的webui地址

<property>

  <name>dfs.namenode.http-address.mycluster.nn1</name>

  <value>machine1.example.com:50070</value>

</property>

<property>

  <name>dfs.namenode.http-address.mycluster.nn2</name>

  <value>machine2.example.com:50070</value>

</property>

5.配置namenode的共享edit log目錄

<property>

  <name>dfs.namenode.shared.edits.dir</name>

  <value>qjournal://s1:8485;s7:8485;s8:8485/mycluster</value>

</property>

 

6.配置客戶端容災代理供應商類

供客戶端用來檢測那個是namenode是活頁節(jié)點。

<property>

  <name>dfs.client.failover.proxy.provider.mycluster</name>

  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

7.(可選的)配置HA防護方法名集合.

QJM防止腦裂發(fā)生，不存在兩個active node。

可以配置sshfence或者shell腳本。

8.配置hdfs的文件系統(tǒng)

[core-site.xml]

<property>

  <name>fs.defaultFS</name>

  <value>hdfs://mycluster</value>

</property>

9.配置JN的本地存放數(shù)據(jù)(edit log)的目錄

<property>

  <name>dfs.journalnode.edits.dir</name>

  <value>/home/ubuntu/hadoop/journal</value>

</property>

 

2、把core-site.xml文件的客戶機名改成如下再頒發(fā)給每個虛擬機：<property>

  <name>fs.defaultFS</name>

  <value>hdfs://mycluster</value>

 

3、然后回到hdfs-site.xml里面把<property>

  <name>fs.defaultFS</name>

  <value>hdfs://mycluster</value>

</property>刪掉。同樣頒發(fā)給每個虛擬機

 

4、接下來啟動jn進程即：hadoop-daemon.sh starat journalnode

(我是在s1、s7和s8上分別啟動journalnode進程。我一共八臺虛擬機)

 

5、將s1的hadoop目錄下的dfs拷貝到s8中。即執(zhí)行：scp -r dfs ubuntu@s8:/home/ubuntu/hadoop

 

6、在開啟一個namenode節(jié)點的情況下，登錄：ssh s8的虛擬機上執(zhí)行hdfs namenode -bootstrapStandby

 

7、再停止namenode節(jié)點，然后 在s1虛擬機上執(zhí)行：hdfs namenode -initializeSharedEdits

 

8、分別在s1和s8上啟動namenode即：執(zhí)行hadoop-daemno.sh start namenode

 

9、最后啟動所有的數(shù)據(jù)節(jié)點：hadoop-daemons.sh start datanode (hadoop-daemons.sh是啟動所有的節(jié)點)

 

管理ha過程

 

1、手動完成狀態(tài)切換：

hdfs haadmin -transitionToActive nn1

hdfs haadmin -transitionToStandbby nn1

 

 

分享標題：HADOOP的HA搭建
文章起源：http://vcdvsql.cn/article16/pejpdg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、網(wǎng)站制作、網(wǎng)站排名、小程序開發(fā)、網(wǎng)站建設、營銷型網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)