Apache Hadoop 單節(jié)點上的安裝配置

目前創(chuàng)新互聯已為近1000家的企業(yè)提供了網站建設、域名、虛擬主機、網站托管、服務器托管、企業(yè)網站設計、文登網站維護等服務，公司將堅持客戶導向、應用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

下面將演示快速完成在單節(jié)點上的 Hadoop 安裝與配置，以便你對 Hadoop HDFS 和 MapReduce 框架有所體會。

1. 先決條件

支持平臺：

GNU/Linux：已經證實了 Hadoop 在 GNU/Linux 平臺上可以支持 2000 個節(jié)點的集群；
Windows。本文所演示的例子都是在 GNU/Linux 平臺上運行，若在 Windows 運行，可以參閱 http://wiki.apache.org/hadoop/Hadoop2OnWindows。
所需軟件：

Java 必須安裝。Hadoop 2.7 及以后版本，需要安裝 Java 7，可以是 OpenJDK 或者是 Oracle（HotSpot）的 JDK/JRE。其他版本的 JDK 要求，可以參閱 http://wiki.apache.org/hadoop/HadoopJavaVersions；
ssh 必須安裝并且保證 sshd 一直運行，以便用 Hadoop 腳本管理遠端Hadoop 守護進程。下面是在 Ubuntu 上的安裝的示例：
$ sudo apt-get install ssh
$ sudo apt-get install rsync
1
2

2. 下載

下載地址在 http://www.apache.org/dyn/closer.cgi/hadoop/common/。

3. 運行 Hadoop 集群的準備工作

解壓所下載的 Hadoop 發(fā)行版。編輯 etc/hadoop/hadoop-env.sh 文件，定義如下參數：

設置 Java 的安裝目錄

export JAVA_HOME=/usr/java/latest
1
2
嘗試如下命令：

$ bin/hadoop
1
將會顯示 hadoop 腳本的使用文檔。

現在你可以用以下三種支持的模式中的一種啟動 Hadoop 集群：

本地（單機）模式
偽分布式模式
完全分布式模式

4. 單機模式的操作方法

默認情況下，Hadoop 被配置成以非分布式模式運行的一個獨立 Java 進程。這對調試非常有幫助。

下面的實例將已解壓的 conf 目錄拷貝作為輸入，查找并顯示匹配給定正則表達式的條目。輸出寫入到指定的 output 目錄。

$ mkdir input
$ cp etc/hadoop/.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
$ cat output/
1
2
3
4

5. 偽分布式模式的操作方法

Hadoop 可以在單節(jié)點上以所謂的偽分布式模式運行，此時每一個 Hadoop 守護進程都作為一個獨立的 Java 進程運行。

配置

使用如下的:

etc/hadoop/core-site.xml:

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
1
2
3
4
5
6
etc/hadoop/hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
有興趣的可以繼續(xù)看下一章

很多人都知道我有大數據培訓資料，都天真的以為我有全套的大數據開發(fā)、hadoop、spark等視頻學習資料。我想說你們是對的，我的確有大數據開發(fā)、hadoop、spark的全套視頻資料。
如果你對大數據開發(fā)感興趣可以加口群領取免費學習資料： 763835121

另外有需要云服務器可以了解下創(chuàng)新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網站欄目：ApacheHadoop入門教程第二章-創(chuàng)新互聯
文章鏈接：http://vcdvsql.cn/article42/cscshc.html

成都網站建設公司_創(chuàng)新互聯，為您提供企業(yè)建站、企業(yè)網站制作、網站收錄、定制網站、面包屑導航、動態(tài)網站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯