這篇文章將為大家詳細(xì)講解有關(guān)如何安裝部署flume1.4，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

我們提供的服務(wù)有：網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、微信公眾號(hào)開(kāi)發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、康樂(lè)ssl等。為上1000+企事業(yè)單位解決了網(wǎng)站和推廣的問(wèn)題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的康樂(lè)網(wǎng)站制作公司

一、引言

flume-ng是一個(gè)分布式、高可靠和高效的日志收集系統(tǒng)，flume-ng是flume的新版本的意思，其中“ng”意為new generate(新一代)，目前來(lái)說(shuō)，flume-ng 1.4是最新的版本。flume-ng與flume相比，發(fā)生了很大的變化，因?yàn)橹耙恢痹趂lume0.9的版本，一直沒(méi)有升級(jí)到flume-ng，最 近因?yàn)轫?xiàng)目需要，做了一次升級(jí)，發(fā)現(xiàn)了一些問(wèn)題，特記錄下來(lái)，分享給大家。

二、版本說(shuō)明

flume-ng 1.4.0

三、安裝步驟

　　下載、解壓、安裝JDK、設(shè)置環(huán)境變量部分已經(jīng)有很多介紹性的問(wèn)題，不做說(shuō)明。需要特別說(shuō)明之處的是，flume-ng不需要要zookeeper，無(wú)需設(shè)置。

四、flume-ng bug　　

安裝完成后運(yùn)行flume-ng會(huì)出現(xiàn)錯(cuò)誤信息，這主要是因?yàn)閟hell腳本的問(wèn)題，我將修改后的flume-ng完整的上傳如下，其中標(biāo)注：#zhangzl下面的行是需要修改的部分。

五、測(cè)試配置文件

　　在conf目錄下創(chuàng)建example-conf.properties文件，屬性如下所示：　　

 1 # Describe the source 
 2 a1.sources = r1 3 a1.sinks = k1 4 a1.channels = c1 5  6 # Describe/configure the source 7 a1.sources.r1.type = avro 8 a1.sources.r1.bind = localhost 9 a1.sources.r1.port = 4444410 11 # Describe the sink12 # 將數(shù)據(jù)輸出至日志中13 a1.sinks.k1.type = logger14 15 16 # Use a channel which buffers events in memory17 a1.channels.c1.type = memory18 a1.channels.c1.capacity = 100019 a1.channels.c1.transactionCapacity = 10020 21 # Bind the source and sink to the channel22 a1.sources.r1.channels = c123 a1.sinks.k1.channel = c1

六、運(yùn)行命令

6.1 啟動(dòng)代理

[hadoop@hadoop1 conf]$ flume-ng agent -n a1 -f example-conf.properties

6.2 啟動(dòng)avro-client客戶端向agent代理發(fā)送數(shù)據(jù)-需要單獨(dú)啟動(dòng)新的窗口

[hadoop@hadoop1 conf]$ flume-ng avro-client -H localhost -p 44444 -F file01

七、結(jié)果查看

1 14/01/16 22:26:34 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 => /127.0.0.1:44444] OPEN2 14/01/16 22:26:34 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 => /127.0.0.1:44444] BOUND: /127.0.0.1:444443 14/01/16 22:26:34 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 => /127.0.0.1:44444] CONNECTED: /127.0.0.1:542894 14/01/16 22:26:36 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 :> /127.0.0.1:44444] DISCONNECTED5 14/01/16 22:26:36 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 :> /127.0.0.1:44444] UNBOUND6 14/01/16 22:26:36 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 :> /127.0.0.1:44444] CLOSED7 14/01/16 22:26:36 INFO ipc.NettyServer: Connection to /127.0.0.1:54289 disconnected.8 14/01/16 22:26:38 INFO sink.LoggerSink: Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64                hello world }

關(guān)于“如何安裝部署flume1.4”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

標(biāo)題名稱：如何安裝部署flume1.4
轉(zhuǎn)載注明：http://vcdvsql.cn/article38/peiisp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、電子商務(wù)、ChatGPT、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站內(nèi)鏈、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)