前提:zk
專注于為中小企業提供成都網站設計、成都做網站服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業官渡免費做網站提供優質的服務。我們立足成都,凝聚了一批互聯網行業人才,有力地推動了上千家企業的穩健成長,幫助中小企業通過網站建設實現規模擴充和轉變。
百度百科
Kafka是一個分布式的、分區的、多復本的日志提交服務。它通過一種獨一無二的設計提供了一個消息系統的功能。
目標是為處理實時數據提供一個統一、高通量、低等待的平臺。
kafka是一個分布式流媒體平臺。
主機列表
hostname | ip |
---|---|
master | 192.168.3.58 |
slave1 | 192.168.3.54 |
slave2 | 192.168.3.31 |
下載kafka
cd /data
wget http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
解壓
tar axf kafka_2.11-1.0.0.tgz
創建日志存放目錄
mkdir -p /data/kafka_2.11-1.0.0/logs
vim /etc/profile
#kafka
export KAFKA_HOME=/data/kafka_2.11-1.0.0
export PATH=$PATH:${KAFKA_HOME}/bin
source /etc/profile
cd kafka_2.11-1.0.0/config/
修改zookeeper.properties(用zookeeper的配置文件zoo.conf直接覆蓋)
grep -v "^#" zookeeper.properties
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=10
syncLimit=5
server.1=master:2887:3887
server.2=slave1:2887:3887
server.3=slave2:2887:3887
vim server.properties
#ID號,集群中唯一,一般使用本機ip最后一位
broker.id=58
#"允許刪除topic,默認為false"
delete.topic.enable=true
#"
將文件scp到其他兩個機器上
scp -r /data/kafka_2.11-1.0.0 slave1:/data
scp -r /data/kafka_2.11-1.0.0 slave2:/data
slave1和slave2修改 server.properties
修改其中的
broker.id
listeners
如slave1
broker.id=54
listeners=PLAINTEXT://slave1:9092
啟動kafka(每個節點)(會占用窗口)
kafka-server-start.sh /data/kafka_2.11-1.0.0/config/server.properties
后臺啟動kafka(生產環境使用)
nohup kafka-server-start.sh /data/kafka_2.11-1.0.0/config/server.properties 2&> /data/kafka_2.11-1.0.0/logs/kafka.log &
關閉kafka
kafka-server-stop.sh
kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --partitions 3 --replication-factor 3 --topic test
查看topic
kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181
測試
創建producer
kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic producerest
另外一個機器上創建consumer
kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic producerest --from-beginning
producer產生消費,consumer接收消費
使用ctrl+c退出
配置詳解(官方文檔):http://kafka.apache.org/documentation/#configuration
網頁名稱:apache-kafka集群部署
分享鏈接:http://vcdvsql.cn/article8/jhjcop.html
成都網站建設公司_創新互聯,為您提供、微信公眾號、品牌網站設計、微信小程序、App設計、響應式網站
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯