如何進行Kafka的權限控制和監控告警，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

創新互聯是一家專注于成都網站建設、網站設計與策劃設計,江達網站建設哪家好?創新互聯做網站,專注于網站建設十年,網設計領域的專業建站公司;建站業務涵蓋:江達等地區。江達做網站價格咨詢:028-86922220

Kafka的權限控制和監控告警

(1)權限控制

開始介紹時我們說過，早期Kafka集群沒有設置安全驗證處于裸跑狀態，因此只要知道Broker的連接地址即可生產消費，存在嚴重的數據安全性問題。

一般來說,使用SASL的用戶多會選擇Kerberos，但就平臺Kafka集群的使用場景來說，用戶系統并不復雜，使用Kerberos就有些大材小用,同時Kerberos相對復雜，存在引發其他問題的風險。另外，在Encryption方面,由于都是運行在內網環境，所以并沒有使用SSL加密。

最終平臺Kafka集群使用SASL作為鑒權方式,基于SASL/SCRAM+ACL的輕量級組合方式，實現動態創建用戶，保障數據安全。

(2)監控告警

之前在集群的使用中我們經常發現，消費應用的性能無緣無故變差了。分析問題的原因,通常是滯后Consumer讀取的數據大概率沒有命中Page-cache，導致Broker端機器的內核要首先從磁盤讀取數據加載到Page-cache中后，才能將結果返還給Consumer，相當于本來可以服務于寫操作的磁盤現在要讀取數據了,影響了使用方讀寫同時降低的集群的性能。

這時就需要找出滯后Consumer的應用進行事前的干預從而減少問題發生，因此監控告警無論對平臺還是用戶都有著重大的意義。下面介紹一下我們的實踐思路。

整體方案：

整體方案主要是基于開源組件KafkaJMXMetrics+OpenFalcon+Grafana：

KafkaJMXMetrics：Kafkabroker的內部指標都以JMXMetrics的形式暴露給外部。1.1.1版本提供了豐富的監控指標，滿足監控需要

OpenFalcon：小米開源的一款企業級、高可用、可擴展的開源監控系統

Grafana：Metrics可視化系統，大家比較熟悉，可對接多種Metrics數據源。

關于告警：

雷達系統:自研監控系統，通過Falcon及Eagle獲取Kafka指標，結合設定閾值進行告警。以消費方式舉例，Lag是衡量消費情況是否正常的一個重要指標，如果Lag一直增加，必須要對它進行處理。

發生問題的時候，不僅Consumer管理員要知道，它的用戶也要知道，所以報警系統也需要通知到用戶。具體方式是通過企業微信告警機器人自動提醒對應消費組的負責人或使用者及Kafka集群的管理者。

關于監控：

Falcon-agent：部署到每臺Broker上,解析KafkaJMX指標上報數據

Grafana：用來可視化FalconKafkaMetrics數據，對Cluster、Broker、Topic、Consumer4個角色制作監控大盤。

Eagle：獲取消費組Active狀態、消費組Lag積壓情況，同時提供API，為監控告警系統「雷達」提供監控數據。

看完上述內容，你們掌握如何進行Kafka的權限控制和監控告警的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注創新互聯行業資訊頻道，感謝各位的閱讀！

當前題目：如何進行Kafka的權限控制和監控告警-創新互聯
轉載注明：http://vcdvsql.cn/article38/jgopp.html

成都網站建設公司_創新互聯，為您提供網站建設、服務器托管、外貿建站、軟件開發、定制開發、網站收錄

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯