本篇文章給大家分享的是有關(guān)Spark2.x入門中SparkStreaming的工作原理是什么，小編覺得挺實用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

創(chuàng)新互聯(lián)主要從事做網(wǎng)站、成都網(wǎng)站設(shè)計、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)太湖,10余年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575

 官網(wǎng)翻譯大體意思如下：

    SparkStreaming是核心SparkApi的擴(kuò)展，支持可伸縮、高吞吐量、容錯的實時數(shù)據(jù)流處理。數(shù)據(jù)可以從許多來源獲取，如Kafka、Flume、Kinesis或TCP sockets，可以使用復(fù)雜的算法處理數(shù)據(jù)，這些算法用高級函數(shù)表示，如map、reduce、join和window。最后，處理后的數(shù)據(jù)可以推送到文件系統(tǒng)、數(shù)據(jù)庫和活動儀表板。實際上，您可以將Spark的機(jī)器學(xué)習(xí)和圖形處理算法應(yīng)用于數(shù)據(jù)流。

  內(nèi)部工作原理：SparkStreaming接受實時輸入數(shù)據(jù)流，并將數(shù)據(jù)分成批次，然后由Spark engine處理，以批量生成最終的結(jié)果流。

    DStream是SparkStreaming流提供的基本抽象。它表示連續(xù)的數(shù)據(jù)流，可以是從源接收到的輸入數(shù)據(jù)流，也可以是通過轉(zhuǎn)換輸入流生成的經(jīng)過處理的數(shù)據(jù)流。在內(nèi)部，DStream由一系列連續(xù)的RDD表示，RDD是Spark對不可變的分布式數(shù)據(jù)集的抽象。DStream中的每個RDD包含來自某個間隔的數(shù)據(jù)，如下圖所示。

    應(yīng)用于DStream上的任何操作都轉(zhuǎn)換為底層RDD上的操作。例如，在前面將一個行流轉(zhuǎn)換為單詞的示例中，flatMap操作應(yīng)用于行DStream中的每個RDD，以生成單詞DStream的RDD。如下圖所示。

    這些底層的RDD轉(zhuǎn)換是由Spark引擎計算的。DStream操作隱藏了這些細(xì)節(jié)中的大部分，并為開發(fā)人員提供了更高級的API。這些操作將在后面的小節(jié)中詳細(xì)討論。

SparkStreaming 、Flink 、Storm 三種流式處理框架對比分析

	SparkStreaming	Flink	Storm
吞吐量	高吞吐	高吞吐	低吞吐
實時性	秒級延遲	低延遲，毫秒級（百毫秒）	低延遲，毫秒級(幾十毫秒)
亂序、延遲處理	無	flink通過warterMarker水印支持亂序和延遲處理，這個spark沒有	無
保證次數(shù)	exactly-once	exactly-once	at-least-once
動態(tài)調(diào)整并行度	不支持	支持	支持
容錯	基于RDD的checkpoint	基于分布式Snapshot的checkpoint	基于Record記錄的ack機(jī)制

以上就是Spark2.x入門中SparkStreaming的工作原理是什么，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降摹ＯＭ隳芡ㄟ^這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)頁題目：Spark2.x入門中SparkStreaming的工作原理是什么
文章出自：http://vcdvsql.cn/article40/peijho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、軟件開發(fā)、域名注冊、網(wǎng)頁設(shè)計公司、營銷型網(wǎng)站建設(shè)、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)