在hadoop學習過程中，首先第一步是部署偽分布以及分布式集群。
在集群的部署過程中http://www.powerxing.com/install-hadoop-cluster/
使用這篇博客作為參考。

成都創新互聯專注于城中網站建設服務及定制，我們擁有豐富的企業做網站經驗。 熱誠為您提供城中營銷型網站建設，城中網站制作、城中網頁設計、城中網站官網定制、微信小程序服務，打造城中網絡公司原創品牌,更為您提供城中網站排名全網營銷落地服務。

在部署過程中。 遇到一些問題。
比如：用PYTHON 跑一個簡單的MAPREDUCE 任務，首先需要現在streamingJAR包，簡單的說這個包封裝了一些常用的接口，PYTHON 通過標準輸入輸出來調用這個包。最終完成在內部用JAVA實現的功能。
下載地址為：http://www.java2s.com/Code/JarDownload/hadoop-streaming/

python 程序為 mapper.py

#!/usr/bin/env python
import sys
for line in sys.stdin:
line = line.strip()
words = line.split()
for word in words:
print "%s\t%s" % (word, 1)

以及reducer.py

**#!/usr/bin/env python
from operator import itemgetter
import sys

current_word = None
current_count = 0
word = None

for line in sys.stdin:
line = line.strip()
word, count = line.split('\t', 1)
try:
count = int(count)
except ValueError: #count如果不是數字的話，直接忽略掉
continue
if current_word == word:
current_count += count
else:
if current_word:
print "%s\t%s" % (current_word, current_count)
current_count = count
current_word = word

if word == current_word: #不要忘記最后的輸出
print "%s\t%s" % (current_word, current_count)**

運行方式：
hadoop jar ./hadoop-streaming-2.6.0.jar -file ./mappper.py -file ./reducer.py  -input /input -output /output

這里需要注意的是  /input 必須放在hadoop文件系統上
hadoop fs -put input /input 
/output 不能存在，如果存在請先刪除

另外在python中首行必須寫   #!/usr/bin/env python
否則可能會報錯。具體原因可以看http://andylue2008.iteye.com/blog/1622260  這篇博客

另外如果使用hadoop fs -ls 這樣的命令報錯： 找不到ls目錄。是因為沒有創建家目錄
hadoop fs -mkdir -p /user/hadoop

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網頁標題：hadoop分布式集群部署以及過程中遇到的一些坑-創新互聯
URL網址：http://vcdvsql.cn/article32/dsodpc.html

成都網站建設公司_創新互聯，為您提供網站導航、網站內鏈、網站策劃、虛擬主機、網站營銷、微信公眾號

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯