1.啟動spark集群，就是執行sbin/start-all.sh,啟動master和多個worker節點，master主要作為集群的管理和監控，worker節點主要擔任運行各個application的任務。master節點需要讓worker節點匯報自身狀況，比如CPU,內存多大，這個過程都是通過心跳機制來完成的

創新互聯專業為企業提供夏邑網站建設、夏邑做網站、夏邑網站設計、夏邑網站制作等企業網站建設、網頁設計與制作、夏邑企業網站模板建站服務，10余年夏邑做網站經驗，不只是建網站，更提供有價值的思路和整體網絡服務。

2.master收到worker的匯報信息之后，會給予worker信息

3.driver提交任務給spark集群[driver和master之間的通信是通過AKKAactor來做的，也就是說master是akkaactor異步通信模型中的一個actor模型，driver也是一樣，driver異步向mater發送注冊信息（registerApplication）異步注冊信息]

4.master節點對application預估，7個G的內存完成任務，對任務進行分配，每一個worker節點上都分配3.5G的內存去執行任務,在master就對各個worker上的任務進行整體的監控調度

5.worker節點領到任務，開始執行，在worker節點上啟動相應的executor進程來執行，每個executor中都有一個線程池的概念，里面存有多個task線程

6.executor會從線程池中取出task去計算rddpatition中的數據，transformation操作，action操作

7.worker節點向driver節點匯報計算狀態

通過本地并行化集合創建RDD

public class JavaLocalSumApp{
	public static void main(String[] args){
		SparkConf conf = new SparkConf().setAppName("JavaLocalSumApp");
		JavaSparkContext sc = new JavaSparkContext(conf);
		List<Integer> list = Arrays.asList(1,3,4,5,6,7,8);
		//通過本地并行化集合創建RDD
		JavaRDD <Integer> listRDD = sc.parallelize(list);
		//求和
		Integer sum = listRDD.reduce(new Function2<Integer,Integer,Integer,Integer>(){
			@Override
			    public Integer call(Integer v1,Integer v2) throws Exception{
				return v1+v2;
			}
		}
		);
		System.out.println(sum)
	}
}
//java 中的函數式編程,需要將編譯器設置成1.8
listRDD.reduce((v1,v2)=> v1+v2)

分享標題：Spark調度架構原理詳解-創新互聯
文章分享：http://vcdvsql.cn/article32/dshhpc.html

成都網站建設公司_創新互聯，為您提供網站排名、虛擬主機、網站設計公司、企業網站制作、網站建設、搜索引擎優化

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯