下面給出的是spark集群搭建的環境：

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴，公司提供的服務項目有：國際域名空間、網絡空間、營銷軟件、網站建設、瀘縣網站維護、網站推廣。

操作系統：最小安裝的CentOS 7（下載地址）

Yarn對應的hadoop版本號：Hadoop的Cloudera公司發行版Hadoop2.6.0-CDH5.4.0（下載地址）

Java版本號：JDK1.8（下載地址）

Scala版本號：Scala2.10.4（下載地址）

Spark版本號：spark-1.3.1-bin-hadoop2.6（下載地址）

集群組成：master  192.168.1.2

           slave1  192.168.1.3

           slave2  192.168.1.4

           slave3  192.168.1.5

1、  操作系統的安裝

我覺得這個就沒必要說了，下載一個虛擬機或者直接在真機安裝，比較簡單，不再贅述。

2、  Java的安裝

請參看我的博文《Jdk1.8在CentOS7中的安裝與配置》有詳細說明。

3、  Scala的安裝

請參看我的博文《Scala2.10.4在CentOS7中的安裝與配置》有詳細說明。

4、  Yarn的部署

Yarn是由Hadoop2.x發展而來，是Hadoop1.x的JobTracker和TaskTracker的升級版本，是hadoop2.x的資源調度工具。搭建Hadoop2.x環境的時候，yarn會自動被搭建好，所以，我們只需要搭建hadoop環境即可。

Hadoop具體環境搭建，請參看我的博文《Hadoop2.6.0在CentOS 7中的集群搭建》有詳細說明。

5、  Spark的集群搭建

a)     首先，從官網下載spark1.3.1對應hadoop2.6.0的版本（注：以下所有操作都在超級用戶模式下進行！）

b)     在主節點master的root/app的目錄下，解壓下載好的spark-1.3.1-bin-hadoop2.6.tgz：

tar –xzvf spark-1.3.1-bin-hadoop2.6.tgz

c)     配置Spark的環境變量：

i. 　　vi  /etc/profile

ii.　　在文件最后添加：

## SPARK

export SPARK_HOME=spark的絕對路徑（我這邊是：/root/app/spark-1.3.1-bin-hadoop2.6）

export PATH=$PATH:$SPARK_HOME/bin

d)     Spark的相關文件配置

i.　　slaves的配置：

vi slaves

添加從節點slave名稱：

slave1

slave2

slave3

ii.　　spark-env.sh的配置

vi spark-env.sh

向文件添加：

export JAVA_HOME=Java安裝的絕對路徑（我這邊是：/root/app/jdk1.8）

export SCALA_HOME=Scala安裝的絕對路徑（我這邊是：/root/app/scala2.10）

export HADOOP_CONF_DIR=hadoop環境下的配置文件目錄etc/hadoop的絕對路徑（我這邊是：/root/app/hadoop-2.6.0-cdh6.4.0/etc/Hadoop）

export SPARK_MASTER_IP=主節點IP或主節點IP映射名稱（我這邊是：master）

export SPARK_MASTER_PORT=主節點啟動端口（默認7077）

export PARK_MASTER_WEBUI_PORT=集群web監控頁面端口（默認8080）

export SPARK_WORKER_CORES=從節點工作的CPU核心數目（默認1）

export SPARK_WORKER_PORT=從節點啟動端口（默認7078）

export SPARK_WORKER_MEMORY=分配給Spark master和 worker 守護進程的內存空間（默認512m）

export SPARK_WORKER_WEBUI_PORT=從節點監控端口（默認8081）

export SPARK_WORKER_INSTANCES=每臺從節點上運行的worker數量 (默認: 1). PS：當你有一個非常強大的計算的時候和需要多個Spark worker進程的時候你可以修改這個默認值大于1 . 如果你設置了這個值。要確保SPARK_WORKER_CORE 明確限制每一個worker的核心數, 否則每個worker 將嘗試使用所有的核心。

3.　　我這邊的yarn部署是按照spark配置文件的默認部署的，如果你想根據實際情況來部署的話，可以修改一下文件：

# - HADOOP_CONF_DIR, to point Spark towards Hadoop configuration files

# - SPARK_EXECUTOR_INSTANCES, Number of workers to start (Default: 2)

# - SPARK_EXECUTOR_CORES, Number of cores for the workers (Default: 1).

# - SPARK_EXECUTOR_MEMORY, Memory per Worker (e.g. 1000M, 2G) (Default: 1G)

# - SPARK_DRIVER_MEMORY, Memory for Master (e.g. 1000M, 2G) (Default: 512 Mb)

# - SPARK_YARN_APP_NAME, The name of your application (Default: Spark)

# - SPARK_YARN_QUEUE, The hadoop queue to use for allocation requests

# - SPARK_YARN_DIST_FILES, Comma separated list of files to be distributed with the job.

# - SPARK_YARN_DIST_ARCHIVES, Comma separated list of archives to be distributed with the job.

iii.　　Spark文件復制：

將配置好的Spark文件復制到各個從節點slave對應的目錄上：

scp spark-1.3.1-bin-hadoop2.6/ root@slave1:/root/app

scp spark-1.3.1-bin-hadoop2.6/ root@slave2:/root/app

scp spark-1.3.1-bin-hadoop2.6/ root@slave3:/root/app

6、  Spark On Yarn的集群啟動：

a)　　Yarn的啟動：

i. 　　先進入hadoop目錄下

ii.　　 ./sbin/start-all.sh

iii.　　 jps發現有ResourceManager進程，說明yarn啟動完成

b)　　Spark的啟動：

i.　　 先進入spark目錄下

ii. 　　./sbin/start-all.sh

iii.　　 jps主節點發現有Master進程，jps從節點有Worker進程，說明spark啟動完成

c)    Spark監控頁面，我就不測試了，一般都是masterIP：8080，如有打不開監控頁面的問題也是防火墻沒有被禁用的問題，請參看我的博文《Hadoop環境搭建過程中可能遇到的問題》 里面的問題2有詳細說明。

7、至此，Spark On Yarn的集群搭建完成。

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

名稱欄目：hadoop組件之spark的安裝及配置-創新互聯
網頁地址：http://vcdvsql.cn/article40/cseseo.html

成都網站建設公司_創新互聯，為您提供靜態網站、網站改版、網站制作、自適應網站、App設計、品牌網站制作

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯