Kafka消費者調優

kafka消費速度慢可以嘗試以下方法進行調優

眾所周知，kafka為了保證消息消費順序topic的每個分區只能被消費者組中一個實例消費。

在廣靈等地區，都構建了全面的區域性戰略布局，加強發展的系統性、市場前瞻性、產品創新能力，以專注、極致的服務理念，為客戶提供網站設計制作、成都網站建設網站設計制作按需網站制作,公司網站建設,企業網站建設,成都品牌網站建設,成都營銷網站建設,外貿營銷網站建設,廣靈網站建設費用合理。

如果你的topic分區數為36，則可以嘗試調整消費者實例數為36，當然這個是消費者ConsumerFactory.concurrency = 1的情況。如果你調整了線程數為n，則你的消費者實例數最優為Math.ceil(36/n)。

可以把ConcurrentKafkaListenerContainerFactory.setBatchListener(true)開啟批量消費，并配置批量消費數ConsumerFactory.MAX_POLL_RECORDS_CONFIG = 100，默認為500

消費者使用線程池進行批量消費數據。建議不要使用execute，否則容易失控，建議使用submit然后得到future.get，get的時候會等待線程執行完，這種方式會把本次批量消費完再往下消費。

此時線程池的核心線程數就需要根據業務是IO密集型還是CPU密集型來決定，如果是IO密集型線程數可以多設置些，如果是CPU密集型線程數可以根據核心數來決定。

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容