這篇文章主要介紹了Hadoop環(huán)境如何配置，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)主營(yíng)東至網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,成都app軟件開發(fā)公司,東至h5小程序制作搭建,東至網(wǎng)站營(yíng)銷推廣歡迎東至等地區(qū)企業(yè)咨詢

    Hadoop環(huán)境安裝完之后需要進(jìn)行相應(yīng)的配置

    Hadoop組件通過XML來配置，core-site.xml用于配置Common組件的屬性，hdfs-site.xml文件用于配置HDFS屬性，mapred-site.xml文件用于配置MapReduce屬性，hdoop支持獨(dú)立模式、偽分布模式、全分布模式，在不同模式下，各屬性的配置：

組件	屬性	獨(dú)立模式	偽分布模式	全分布模式
common	fs.default.name	file:///(默認(rèn))	hdfs://localhost/	hdfs://namenode
hdfs	dfs.replication	N/A	1	3
mapreduce	mapred.job.tracker(hadoop2不用配置)	local(默認(rèn))	localhost:8021	jobtracker:8021

    hadoop日志配置：在hadoop-env.sh中添加export HADOOP_LOG_DIR=/usr/lib/hadoop/logs

    我hadoop2的配置如下：

    core-site.xml

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost/</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/lib/hadoop/tmp/</value>
        </property>
</configuration>

    hdfs-site.xml:

<configuration>
        <property>
                <name>dfs.default.name</name>
                <value>/usr/lib/hadoop/logs/</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

    mapred-site.xml:

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>Yarn</value>
        </property>
</configuration>

    yarn-site.xml:

<configuration>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>localhost:8990</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>localhost:8991</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanage.scheduler.capacity.CapacityScheduler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>localhost:8993</value>
        </property>
        <property>
                <name>yarn.nodemanager.local-dirs</name>
                <value>/usr/lib/hadoop/tmp/node</value>
        </property>
        <property>
                <name>yarn.nodemanager.address</name>
                <value>localhost:8994</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>102040</value>
        </property>
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/usr/lib/hadoop/tmp/app-logs</value>
        </property>
        <property>
                <name>yarn.nodemanager.log-dirs</name>
                <value>/usr/lib/hadoop/tmp/node</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

    slaves:

localhost

    完事之后執(zhí)行hadoop namenode -fromat 格式化hdfs文件系統(tǒng)。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Hadoop環(huán)境如何配置”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!

本文名稱：Hadoop環(huán)境如何配置
本文網(wǎng)址：http://vcdvsql.cn/article46/jhjieg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、移動(dòng)網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、外貿(mào)建站、做網(wǎng)站、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)