網上很多教程關于Hadoop-2.4包64位編碼的教程,最新版2.7.2幾乎相同,在此為大家復述一下。
目前創新互聯建站已為超過千家的企業提供了網站建設、域名、網站空間、綿陽服務器托管、企業網站設計、內江網站維護等服務,公司將堅持客戶導向、應用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協力一起成長,共同發展。
分享兩個比較權威的附上鏈接:
Ubuntu用戶推薦參考: http://www.aboutyun.com/forum.php?mod=viewthread&tid=8130&extra=page%3D1&page=1
CentOs系列用戶參考:http://www.cnblogs.com/hadoop2015/p/4259899.html
1、前期工具準備:
(1) CentOS 并成功聯網 (注意:最好采用的是root角色編譯,減少文件夾權限出現問題。新手要注意命令問題:如Ubuntu使用apt-get ,CenOS使用yum的區別。)
(2) 源碼、JDK7 、 maven、 ant 、protobuf(具體每個插件的作用自行查閱資料)
一、安裝插件步驟:(都在root身份下操作,環境變量配置在 /etc/profile)
1、JDK解壓、配置環境變量 JAVA_HOME和PATH,驗證 java -version(如下都需要驗證是否配置成功)
2、Maven解壓、配置 MAVEN_HOME和PATH。
3、ant解壓、配置 ANT _HOME和PATH。
4、安裝 glibc-headers 和 g++ 命令如下:
$yum install glibc-headers
$ yum install gcc-c++
5、安裝make和cmake
$yum install make
$yum install cmake
6、解壓protobuf ,進入到解壓后protobuf主目錄,
然后相繼執行命令:
$ ./configure
$ make
$ make check
$ make install
$ ldconfig
修改環境變量LD_LIBRARY_PATH。驗證(命令:$protoc --version)
最后每次配置都要刷新配置/etc/profile文件:
$source /etc/profile
配置完附上 profile 關于配置的文件:
7、安裝openssl庫
$ yum install openssl-devel
8、安裝 ncurses-devel庫:
$yum install ncurses-devel
到此,編譯工具安裝基本完成。
二、 編譯階段:
開始maven指令,開始編譯hadoop 64位。
跳轉到解壓好的hadoop源碼文件夾里面主目錄(src目錄),執行:
$ mvn package -Pdist,native -DskipTests -Dtar
等待時間很長,最終成功是全部SUCCESS:
成功的64位hadoop包在 scr/hadoop-dist/target下。
3、遇到問題:
1、MAVEN install時候JVM內存溢出
處理方式:在環境配置文件和maven的執行文件均可調整MAVEN_OPT的heap大小。(詳情查閱MAVEN 編譯 JVM調優問題,如:http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method)
2、編譯期間maven報錯。可能網絡阻塞問題導致依賴庫下載不完整導致,多次執行命令(一次通過比較難):
$ mvn package -Pdist,native -DskipTests -Dtar
3、報ant、protobuf等錯誤,插件下載未完整或者插件版本問題,最開始鏈接有較多特殊情況,同時推薦
2.7.0版本的問題匯總帖子 http://www.tuicool.com/articles/IBn63qf
本人比較少寫整理博客,感謝about云社區,希望對大家有幫助。
本文名稱:Hadoop-2.7.2包64位編譯教程
本文鏈接:http://vcdvsql.cn/article38/iijhpp.html
成都網站建設公司_創新互聯,為您提供建站公司、網站制作、移動網站建設、網站維護、網站設計公司、用戶體驗
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯