1.Spark的核心概念是RDD (resilient distributed dataset)，指的是一個 只讀的，可分區的分布式數據集，這個數據集的全部或部分可以緩存在內存中，在多次計算間重用。

創新互聯堅持“要么做到，要么別承諾”的工作理念，服務領域包括：網站制作、成都做網站、企業官網、英文網站、手機端網站、網站推廣等服務，滿足客戶于互聯網時代的瀾滄網站設計、移動媒體設計的需求，幫助企業找到有效的互聯網解決方案。努力成為您成熟可靠的網絡建設合作伙伴！

2.RDD在抽象上來說是一種元素集合，包含了數據。它是被分區的，分為多個分區，每個分區分布在集群中的不同Worker節點上，從而讓RDD中的數據可以被并行操作。(分布式數據集)

3.RDD通常通過Hadoop上的文件，即HDFS文件或者Hive表，來進行創建;有時也可以通過RDD的本地創建轉換而來。

4.傳統的MapReduce雖然具有自動容錯、平衡負載和可拓展性的優點，但是其大缺點是采用非循環式的數據流模型，使得在迭代計算式要進行大量的磁盤IO操作。RDD正是解決這一缺點的抽象方法。RDD最重要的特性就是，提供了容錯性，可以自動從節點失敗中恢復過來。即如果某個節點上的RDD partition，因為節點故障，導致數據丟了，那么RDD會自動通過自己的數據來源重新計算該partition。這一切對使用者是透明的。RDD的lineage特性。

5.RDD的數據默認情況下存放在內存中的，但是在內存資源不足時，Spark會自動將RDD數據寫入磁盤。(彈性)

RDD在Spark中的地位和作用

1)為什么會有Spark?因為傳統的并行計算模型無法有效的解決迭代計算(iterative)和交互式計算(interactive);而Spark的使命便是解決這兩個問題，這也是他存在的價值和理由。

2)Spark如何解決迭代計算?其主要實現思想就是RDD，把所有計算的數據保存在分布式的內存中。迭代計算通常情況下都是對同一個數據集做反復的迭代計算，數據在內存中將大大提升IO操作。這也是Spark涉及的核心：內存計算。

3)Spark如何實現交互式計算?因為Spark是用scala語言實現的，Spark和scala能夠緊密的集成，所以Spark可以完美的運用scala的解釋器，使得其中的scala可以向操作本地集合對象一樣輕松操作分布式數據集。

4)Spark和RDD的關系?可以理解為：RDD是一種具有容錯性基于內存的集群計算抽象方法，Spark則是這個抽象方法的實現。

結語

感謝您的觀看，如有不足之處，歡迎批評指正。

如果有對大數據感興趣的小伙伴或者是從事大數據的老司機可以加群：

658558542

歡迎大家交流分享，學習交流，共同進步。（里面還有大量的免費資料，幫助大家在成為大數據工程師，乃至架構師的路上披荊斬棘！）

最后祝福所有遇到瓶頸的大數據程序員們突破自己，祝福大家在往后的工作與面試中一切順利。

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

新聞標題：解析RDD在Spark中的地位-創新互聯
文章來源：http://vcdvsql.cn/article46/ddjseg.html

成都網站建設公司_創新互聯，為您提供品牌網站制作、虛擬主機、企業網站制作、手機網站建設、App設計、面包屑導航

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯