Kafka中怎么保證消息不丟失重復，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

網站建設哪家好，找創(chuàng)新互聯！專注于網頁設計、網站建設、微信開發(fā)、小程序開發(fā)、集團企業(yè)網站建設等服務項目。為回饋新老客戶創(chuàng)新互聯還提供了磴口免費建站歡迎大家使用！

• 消費端重復消費：

• 建立去重表

• 消費端丟失數據：

• 關閉自動提交offset，處理完之后受到移位

• 生產端重復發(fā)送：

• 這個不重要，消費端消費之前從去重表中判重就可以

• 生產端丟失數據：

• 1、異步方式緩沖區(qū)滿了，就阻塞在那，等著緩沖區(qū)可用，不能清空緩沖區(qū)

• 2、發(fā)送消息之后回調函數，發(fā)送成功就發(fā)送下一條，

• 發(fā)送失敗就記在日志里，等著定時腳本（定時器）來掃描

• （發(fā)送失敗可能并不真的發(fā)送失敗，只是沒收到反饋，定時腳本可能會重發(fā)）

• 解決策略:

如何保證有序（同步發(fā)送能保證順序）：

• 同步發(fā)送模式：發(fā)出消息后，必須阻塞等待收到通知后，才發(fā)送下一條消息

• 異步發(fā)送模式：一直往緩沖區(qū)寫，然后一把寫到隊列中去

• 兩者都是各有利弊：

• 同步發(fā)送模式雖然吞吐量小，但是發(fā)一條收到確認后再發(fā)下一條，既能保證不丟失消息，又能保證順序

kafka數據丟失原因：

1. 有3種狀態(tài)（0（不需要等待確認）、1（leader確認）、-1（all確認））保證消息被安全生產，

• 在配置狀態(tài)為1（只保證寫入leader成功的話），如果剛好leader partition掛了，數據就會丟失

2. 使用異步模式的時候，當緩存區(qū)滿了，

• 如果配置狀態(tài)為0（還沒收到確認的情況下，緩沖池一滿，就清空緩沖池里的消息），數據就會被立馬丟棄掉

3. 如果配置狀態(tài)為-1

• 由于ISR可能會縮小到僅包含一個Replica，所以設置參數為all并不能一定避免數據丟失

在數據生產時避免數據丟失的方法：

• 只要能避免上述兩種情況，那么就可以保證消息不會被丟失。

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注創(chuàng)新互聯行業(yè)資訊頻道，感謝您對創(chuàng)新互聯的支持。

分享標題：Kafka中怎么保證消息不丟失重復
網站路徑：http://vcdvsql.cn/article40/pejieo.html

成都網站建設公司_創(chuàng)新互聯，為您提供網站建設、定制網站、微信公眾號、網站設計、建站公司、微信小程序

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯