Spark集群部署

十余年的裕安網(wǎng)站建設(shè)經(jīng)驗，針對設(shè)計、前端、開發(fā)、售后、文案、推廣等六對一服務(wù)，響應(yīng)快，48小時及時工作處理。全網(wǎng)整合營銷推廣的優(yōu)勢是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動調(diào)整裕安建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)公司從事“裕安網(wǎng)站設(shè)計”,“裕安網(wǎng)站推廣”以來，每個客戶項目都認(rèn)真落實執(zhí)行。

一、準(zhǔn)備工作

準(zhǔn)備3臺機器創(chuàng)建集群，主機名及IP地址為
Master 192.168.2.240
Slave1 192.168.2.241
Slave2 192.168.2.242

下載軟件
Scala： https://downloads.lightbend.com/scala/2.12.3/scala-2.12.3.tgz
Spark： http://mirrors.hust.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.6.tgz
JDK:
http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz

二、環(huán)境配置

2.1、配置ssh免密碼登錄

在master主機上執(zhí)行以下命令
ssh-keygen -t rsa #創(chuàng)建公鑰和私鑰
ssh-copy-id slave1 #把私鑰文件上傳到slave1和slave2，第一次需要輸入密碼驗證。
ssh-copy-id slave2
完成以上操作，從master登錄slave1，slave2就不用輸入密碼了。

2.2、安裝JDK
解壓jdk安裝包
tar -zxf jdk-8u151-linux-x64.tar.gz -C /usr/local/
ln -sv /usr/local/jdk_1.8.0_151 jdk

vi /etc/profile.d/jdk.sh
export JAVA_HOME=/usr/local/jdk/
export PATH=$PATH:$JAVA_HOME/bin

chmod 755 /etc/profile.d/jdk.sh
. /etc/profile.d/jdk.sh

檢查Java版本
java -version
java version "1.7.0_75"
Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

2.3、安裝Scala
解壓安裝包
tar -zxf scala-2.12.3.tgz -C /us r/local

vi /etc/profile.d/scala.sh
export SCALA_HOME=/usr/local/scala-2.12.3
export PATH=$PATH:$SCALA_HOME/bin

chmod 755 /etc/profile.d/scala.sh
. /etc/profile.d/scala.sh

scala -version
Scala code runner version 2.12.3 -- Copyright 2002-2013, LAMP/EPFL

Scala環(huán)境配置完成。

三、開始按Spark集群

解壓安裝包
tar -zxf spark-2.2.0-bin-hadoop2.6.tgz -C /opt
cd /opt
mv spark-2.2.0-bin-hadoop2.6 spark-2.2.0

配置Spark環(huán)境
cd /opt/spark-2.2.0/conf/
cp spark-env.sh.template spark-env.sh

spark-env.sh添加一下內(nèi)容
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala-2.11.0/
export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.8.0-1.cdh6.8.0.p0.42/lib/hadoop/
export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-5.8.0-1.cdh6.8.0.p0.42/lib/hadoop/etc/hadoop/
export SPARK_MASTER_IP=master
export SPARK_LOCAL_DIRS=/opt/spark-2.2.0
export SPARK_WORKER_MEMORY=512m
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

變量說明

• JAVA_HOME：Java安裝目錄
• SCALA_HOME：Scala安裝目錄
• HADOOP_HOME：hadoop安裝目錄
• HADOOP_CONF_DIR：hadoop集群的配置文件的目錄
• SPARK_MASTER_IP：spark集群的Master節(jié)點的ip地址
• SPARK_WORKER_MEMORY：每個worker節(jié)點能夠最大分配給exectors的內(nèi)存大小
• SPARK_WORKER_CORES：每個worker節(jié)點所占有的CPU核數(shù)目
• SPARK_WORKER_INSTANCES：每臺機器上開啟的worker節(jié)點的數(shù)目

配置slave主機
cp slaves.template slaves

在slaves文件中添加slave主機
Slave1
Slave2

將配置好的spark-2.2.0文件夾分發(fā)給所有的slave主機
scp -rp spark-2.2.0 slave1:/opt
scp -rp spark-2.2.0 slave2:/opt

啟動Spark集群
/opt/spark-2.2.0/sbin/start-all.sh

驗證Spark是否啟動成功，通過jps命令
Master應(yīng)有master進程
8591 Master

Slave應(yīng)有Worker進程
1694 Worker

Spark Web管理頁面地址： http://master:8080/

名稱欄目：Spark集群簡單安裝流程
鏈接URL：http://vcdvsql.cn/article48/peeehp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、軟件開發(fā)、做網(wǎng)站、品牌網(wǎng)站設(shè)計、網(wǎng)站內(nèi)鏈、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)