1:安裝包
創新互聯堅持“要么做到,要么別承諾”的工作理念,服務領域包括:成都網站設計、做網站、企業官網、英文網站、手機端網站、網站推廣等服務,滿足客戶于互聯網時代的曹妃甸網站設計、移動媒體設計的需求,幫助企業找到有效的互聯網解決方案。努力成為您成熟可靠的網絡建設合作伙伴!http://hadoop.apache.org/releases.html
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
hadoop-2.6.4 (binary)
jdk-8u102-linux-x64.tar.gz
2:節點信息
centos7 * 3
master 10.10.0.115
slave1 10.10.0.116
slave2 10.10.0.117
3:安裝過程
3.1 節下初始化(略)
主機名 防火墻 selinux 等
3.2 節點互信
[root@master ~]#ssh-keygen
[root@master ~]#cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
[root@master ~]#scp -r /root/.ssh slave1:/root/
[root@master ~]#scp -r /root/.ssh slave2:/root/
3.3 在所有節點安裝jdk
[root@master ~]#tar -zxvf jdk-8u102-linux-x64.tar.gz
[root@master ~]#mkdir /usr/soft
[root@master ~]#mv jdk1.8.0_102 /usr/soft/
[root@master ~]#vim /etc/profile
...
export JAVA_HOME=/usr/soft/jdk1.8.0_102
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
[root@master ~]#source /etc/profile
[root@master ~]#java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)
其它節點同樣操作
3.4 安裝hadoop
先在master上安裝配置,然后scp到其它節點即可
[root@master ~]#tar -zxvf hadoop-2.6.4.tar.gz
[root@master ~]#mv hadoop-2.6.4 /usr/soft/
[root@master ~]#cd /usr/soft/hadoop-2.6.4/
[root@master ~]#mkdir hdfs
[root@master ~]#mkdir hdfs/data
[root@master ~]#mkdir hdfs/name
[root@master ~]#mkdir tmp
[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.10.0.115:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/soft/hadoop-2.6.4/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
</configuration>
[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/soft/hadoop-2.6.4/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/soft/hadoop-2.6.4/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>10.10.0.115:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
[root@master ~]#cp /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml.template /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml
[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>10.10.0.115:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>10.10.0.115:19888</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>10.10.0.115:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>10.10.0.115:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>10.10.0.115:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>10.10.0.115:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>10.10.0.115:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>768</value>
</property>
</configuration>
[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/hadoop-env.sh
...
export JAVA_HOME=/usr/soft/jdk1.8.0_102
[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/yarn-env.sh
...
export JAVA_HOME=/usr/soft/jdk1.8.0_102
[root@master ~]# cat /usr/soft/hadoop-2.6.4/etc/hadoop/slaves
10.10.0.116
10.10.0.117
[root@master ~]#scp -r /usr/soft/jdk1.8.0_102 slave1:/usr/soft/
[root@master ~]#scp -r /usr/soft/jdk1.8.0_102 slave2:/usr/soft/
[root@master ~]#/usr/soft/hadoop-2.6.4/bin/hdfs namenode -format
[root@master ~]# /usr/soft/hadoop-2.6.4/sbin/start-all.sh
瀏覽器打開http://10.10.0.115:8088/
瀏覽器打開http://10.10.0.115:50070/
另外有需要云服務器可以了解下創新互聯scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
本文名稱:安裝hadoop-創新互聯
分享鏈接:http://vcdvsql.cn/article14/ddhede.html
成都網站建設公司_創新互聯,為您提供小程序開發、外貿建站、關鍵詞優化、品牌網站設計、微信公眾號、網站改版
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯