這篇文章主要介紹Flume如何安裝部署,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
專注于為中小企業提供網站設計制作、成都做網站服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業美蘭免費做網站提供優質的服務。我們立足成都,凝聚了一批互聯網行業人才,有力地推動了成百上千企業的穩健成長,幫助中小企業通過網站建設實現規模擴充和轉變。
1、Flume的安裝非常簡單,只需要解壓即可,當然,前提是已有hadoop環境
上傳安裝包到數據源所在節點上
然后解壓 tar -zxvf apache-flume-1.6.0-bin.tar.gz,最終解壓到的位置是:/home/tuzq/software/apache-flume-1.6.0-bin
然后進入flume的目錄,修改conf下的flume-env.sh,在里面配置JAVA_HOME
2、根據數據采集的需求配置采集方案,描述在配置文件中(文件名可任意自定義)
3、指定采集方案配置文件,在相應的節點上啟動flume agent
vi netcat-logger.conf(這個是我們自己定義的采集方案的配置文件)
#定義這個agent中各組件的名字 ##表示agent中的source組件 a1.sources = r1 ##表示的是下沉組件sink a1.sinks = k1 ##agent內部的數據傳輸通道channel,用于從source將數據傳遞到sink a1.channels = c1 #描述和配置source組件:r1 ##netcat用于監聽一個端口的 a1.sources.r1.type = netcat ##配置的綁定地址,這個機器的hostname是hadoop1,所以下面也可以配置成hadoop1 a1.sources.r1.bind = localhost ##配置的綁定端口 a1.sources.r1.port = 44444 #描述和配置sink組件:k1 a1.sinks.k1.type = logger ##描述和配置channel組件,此處使用時內存緩存的方式
以上是“Flume如何安裝部署”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注創新互聯行業資訊頻道!
當前名稱:Flume如何安裝部署
網站URL:http://vcdvsql.cn/article18/peeidp.html
成都網站建設公司_創新互聯,為您提供ChatGPT、網站收錄、網站改版、網站建設、移動網站建設、品牌網站設計
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯