這篇文章主要講解了“如何構建Spark集群”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“如何構建Spark集群”吧！

創新互聯主要業務有網站營銷策劃、網站設計、網站制作、微信公眾號開發、小程序制作、H5高端網站建設、程序開發等業務。一次合作終身朋友，是我們奉行的宗旨；我們不僅僅把客戶當客戶，還把客戶視為我們的合作伙伴，在開展業務的過程中，公司還積累了豐富的行業經驗、成都全網營銷推廣資源和合作伙伴關系資源，并逐漸建立起規范的客戶服務和保障體系。 

從控制臺我們可以看見有兩個DataNode，此時我們點擊“Live Nodes”查看一下其信息：

從控制臺中看到了我們的兩個Datanode節點SparkWorker1和SparkWorker2，這正是我們預期中的！

第三步：啟動yarn集群

使用jps命令可以發現SparkMaster機器上啟動了ResourceManager進程：

而在SparkWorker1和SparkWorker2上則分別啟動了NodeManager進程：

在SparkMaster上訪問http://SparkMaster:8088 可以通過Web控制臺查看ResourceManager運行狀態：

在SparkMaster上訪問http://SparkWorker1:8042  可以通過Web控制臺查看SparkWorker1上的NodeManager運行狀態：

在SparkMaster上訪問http://SparkWorker2:8042  可以通過Web控制臺查看SparkWorker2上的NodeManager運行狀態：

接下來使用“mr-jobhistory-daemon.sh”來啟動JobHistory Server：

啟動后可以通過http://SparkMaster:19888 在Web控制臺上看到JobHistory中的任務執行歷史信息：

感謝各位的閱讀，以上就是“如何構建Spark集群”的內容了，經過本文的學習后，相信大家對如何構建Spark集群這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創新互聯，小編將為大家推送更多相關知識點的文章，歡迎關注！

網站欄目：如何構建Spark集群
網站地址：http://vcdvsql.cn/article28/peggcp.html

成都網站建設公司_創新互聯，為您提供用戶體驗、建站公司、服務器托管、網站改版、域名注冊、企業建站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯