第一步：版本的選擇：

創(chuàng)新互聯(lián)主要從事網(wǎng)站設(shè)計、做網(wǎng)站、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)雞澤,十年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575

spark-0.x spark-1.x(主流：Spark-1.3 和 Spark-1.6) spark-2.x(最新 Spark-2.4) 下載地址：http://spark.apache.org/downloads.html（官網(wǎng)） 其他鏡像網(wǎng)站：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/                                    https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/                                     https://www.apache.org/dyn/closer.lua/spark/  注意這里我選擇是：spark-2.3.0-bin-hadoop2.7.tgz。

 

第二步：關(guān)于搭建spark集群的環(huán)境：

• spark底層是使用scala語言編寫的，所有這里需要安裝scala的環(huán)境，并且配置scala的環(huán)境變量。

• scala和spark也都需要jdk，所以我們還需要配置jdk的環(huán)境以及環(huán)境變量，關(guān)于jdk的版本最好是java 8+。

• 這里我們用spark-2.3

注意：由于安裝比較簡單，此時略過java以及scala的安裝。

轉(zhuǎn)載：https://www.cnblogs.com/liugh/p/6623530.html（Linux下安裝java）

轉(zhuǎn)載：https://www.cnblogs.com/freeweb/p/5623795.html（Linux下安裝scala）

 

第三步：spark集群的規(guī)劃：

Server	Master	Worker
hostname01	√
hostname02		√
hostname03		√

 

第四步：具體的集群安裝：

①上傳下載好的spark安裝包到集群的任意一個節(jié)點(diǎn)（由于個人品味不一，這里上傳軟件的方式也不同，作者使用的是Xshell） ②解壓，并放置到統(tǒng)一管理的目錄下（注意這個目錄一定要有讀寫的權(quán)限）：tar zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /application/ ③進(jìn)入相應(yīng)的spark的conf目錄：cd $SPARK_HOME/conf：    [user01@hostname01 ~]$ mv spark-env.sh.template spark-env.sh    [user01@hostname01 conf]$ vim  spark-env.sh(加入以下配置)        export JAVA_HOME=/application/jdk1.8.0_73        export SPARK_MASTER_HOST=hostname01        export SPARK_MASTER_PORT=7077 ④修改$SPARK_HOME/conf/slaves(在其中加入集群的從節(jié)點(diǎn)的主機(jī)或者IP，這里我將hostname02、hostname03當(dāng)做從節(jié)點(diǎn))        hostname02        hostname03 注意：這里的配置，不要用任何多余的空格和空行！！！ ⑤將spark安裝包c(diǎn)opy到集群的其他節(jié)點(diǎn)上 scp -r  /application/spark-2.3.2-bin-hadoop2.7   hostname02: /application scp -r  /application/spark-2.3.2-bin-hadoop2.7   hostname03: /application 注意：由于這里集群的節(jié)點(diǎn)不是很多，所以在分發(fā)安裝包的時候，可以手動輸入密碼，個人建議還是配置一下ssh面秘鑰登錄。 轉(zhuǎn)載：https://blog.csdn.net/furzoom/article/details/79139570 ⑥配置spark的環(huán)境變量：（注意這里需要所有的集群節(jié)點(diǎn)都要配置，當(dāng)然配置的地方，根據(jù)不同要求而定） 我這里配置在/etc/profile :  (由于提前做了sudo的權(quán)限設(shè)置，所以在普通用戶下依然可以修改/etc/profile)        export SPARK_HOME=/application/spark-2.3.2-bin-hadoop2.7        PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin  #注意這里的bin和sbin都要配置 ⑦最終啟動集群：   [user01@hostname01 ~]$ /application/spark-2.3.2-bin-hadoop2.7/sbin/start-all.sh 切記：如果集群有hadoop集群，那么在hadoop的sbin目錄下也有start-all.sh的命令，所以這里只能使用全路徑

 

第五步：測試是否啟動成功

第一種方法：

使用jps命令查看進(jìn)程：master是集群的主節(jié)點(diǎn)，worker是集群的從節(jié)點(diǎn)：

第二種方法：查看web UI界面：

最終出現(xiàn)上述情況任意一個，說明集群搭建成功。這里分享的是分布式集群，HA集群，需要步驟比較復(fù)雜

并且需要zookeeper組件。

新聞名稱：spark分布式集群安裝
網(wǎng)站地址：http://vcdvsql.cn/article46/pehoeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、動態(tài)網(wǎng)站、品牌網(wǎng)站建設(shè)、小程序開發(fā)、網(wǎng)站維護(hù)、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)