RDD的操作類型分為兩類：

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴，公司提供的服務項目有：申請域名、網頁空間、營銷軟件、網站建設、東遼網站維護、網站推廣。

? Transformation，根據原有的RDD創建一個新的RDD

? actions，對RDD操作后把結果返回給driver

 Transfrmation操作是延遲的，也就是說從一個RDD轉換到另一個RDD的轉換不是馬上執行的，需要等到有Action操作的時候才會真正觸發運算。

 Action會觸發Spark提交作業，并將數據輸出spark系統。

從小方向來說，Spark 算子大致可以分為以下三類:

（1）Value數據類型的Transformation算子，這種變換并不觸發提交作業，針對處理的數據項是Value型的數據。
（2）Key-Value數據類型的Transfromation算子，這種變換并不觸發提交作業，針對處理的數據項是Key-Value型的數據對。

（3）Action算子，這類算子會觸發SparkContext提交Job作業。

    例如map是一個轉換，他把RDD中的數據經過一系列的轉換后轉換成一個新的RDD，而reduce則是一個action，它收集RDD所有的數據經過一系列的處理，最后把結果傳遞給driver。

 RDD的所有轉換操作都是lazy模式的，即Spark不會立馬計算出結果，而是記住所有對數據集的轉換操作，這些轉換只有遇到action的時候才會開始計算。這樣的設計使得spark更加高效。例如，對一個數據做一次map操作后進行reduce操作，只有reduce的結果返回給driver，而不是把數據量更大的map操作后傳遞給driver。

1.1 Transformation

  transformation返回一個新的RDD方式有很多，如從數據源生成一個新的RDD，從RDD生成一個新的RDD。所有的transformation都是采用的懶策略，就是只將transformation提交是不會執行的。

  詳情參考：http://spark.apache.org/docs/latest/rdd-programming-guide.html

1.2  Action

   Action是得到一個值，或者一個結果。計算只有在action被提交的時候才被觸發。

歡迎關注個人微信公眾號：大數據and機器學習(CLbigdata）

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

本文題目：淺談Spark算子-創新互聯
URL鏈接：http://vcdvsql.cn/article46/csijeg.html

成都網站建設公司_創新互聯，為您提供自適應網站、品牌網站制作、網站建設、全網營銷推廣、網站設計公司、外貿建站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯