<property>

創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務領(lǐng)域包括：做網(wǎng)站、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務，滿足客戶于互聯(lián)網(wǎng)時代的阿拉山口網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡建設(shè)合作伙伴！

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

<description>配置是否啟動故障恢復，配置此項為true的時候，core-site.xml需要配置ha.zookeeper.quorum</description>

</property>

<property>

<name>dfs.nameservices</name>

<value>ns1</value>

<description>提供服務的NS邏輯名稱，與core-site.xml里的對應；Comma-separated list of nameservices</description>

</property>

<property>

<name>dfs.ha.namenodes.ns1</name>

<value>nn1,nn2</value>

<description>列出該邏輯名稱下的NameNode邏輯名稱， dfs.ha.namenodes.EXAMPLENAMESERVICE配置項EXAMPLENAMESERVICE位dfs.nameservices的值</description>

</property>

<property>

<name>dfs.namenode.rpc-address.ns1.nn1</name>

<value>nn1.ol:9000</value>

<description>指定NameNode的RPC位置；處理所有客戶端請求的RPC地址，</description>

</property>

<property>

<name>dfs.namenode.http-address.ns1.nn2</name>

<value>nn2.ol:50070</value>

<description>namenode web ui端口 ，例如： http://nn1.ol:50070/  </description>

</property>

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://nn1.ol:8485;nn2.ol:8485;s1.ol:8485/ns1</value>

<description>指定用于HA存放edits的共享存儲，通常是NFS掛載點；active namenode向配置的文件夾中寫，standby namenode從這個文件夾下讀，從而保證namespaces同步；在非HA集群中此項配置為空</description>

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/hadoop/1/jn/</value>

<description>作用暫時不知道</description>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

<description> core-site.xml中配置項；指定HA做隔離的方法，缺省是ssh，可設(shè)為shell，稍后詳述；

sshfence 通過 ssh 登錄到前一個 ActiveNameNosde 并將其殺死。為了讓該機制成功執(zhí)行，

需配置免密碼 ssh 登陸，通過參數(shù) dfs.ha.fencing.ssh.private-key-files 指定一個私鑰文件</description>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

<description>The SSH private key files to use with the builtin sshfence fencer.</description>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///hadoop/1/dfs/nn</value>

<description>本地文件系統(tǒng)DFSnamenode存放name table(fsp_w_picpath文件)的目錄，參數(shù)值如果是逗號分隔的多個目錄，the name table復制到多個目錄，冗余</description>

其中fsp_w_picpath鏡像文件包含了整個HDFS文件系統(tǒng)的所有目錄和文件的indoe信息。對于文件來說包括了數(shù)據(jù)塊描述信息、修改時間、訪問時間等；對于目錄來說包括修改時間、訪問權(quán)限控制信息(目錄所屬用戶，所在組等)等。

另外，edit文件主要是在NameNode已經(jīng)啟動情況下對HDFS進行的各種更新操作進行記錄，HDFS客戶端執(zhí)行所有的寫操作都會被記錄到edit文件中。

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///hadoop/1/dfs/dn,file:///hadoop/2/dfs/dn</value>

<description>DFS data node存放塊文件的本地文件系統(tǒng)目錄，一個文件按塊大小切分后，按順序存放在配置多個目錄下（目錄不存在則忽略）；

這么做的目的是，可以將數(shù)據(jù)寫多塊硬盤，把這些位置分散在每個節(jié)點上的所有磁盤上可以實現(xiàn)磁盤 I/O 平衡，因此會顯著改進磁盤 I/O 性能。

</description>

測試環(huán)境配置：

測試環(huán)境datanode的磁盤：

</property>

<property>

<name>dfs.blocksize</name>

<value>268435456</value>

<description>HDFS文件系統(tǒng)塊大小；可以配置以m,g等后綴結(jié)尾的值  256m</description>

</property>

<property>

<name>dfs.support.append</name>

<value>true</value>

<description>HDFS允許向文件追加內(nèi)容；如果這個參數(shù)設(shè)置為false，例如Flume這樣的工具持續(xù)向HDFS中的一個文件寫數(shù)據(jù)就會出問題（我猜的。沒驗證）</description>

</property>

<property>

<name>fs.trash.interval</name>

<value>10080</value>單位：minute

<description>.Trash目錄下文件多久后被刪除，10080/1440=7，參數(shù)設(shè)置為0，文件直接刪除不移動到.Trash中</description>

</property>

<property>

<name>dfs.datanode.failed.volumes.tolerated</name>

<value>1</value>

<description>允許磁盤損壞的數(shù)目，超過配置值，datanode shutdown</description>

</property>

<property>

<name>dfs.datanode.balance.bandwidthPerSec</name>

<value>104857600</value>

<description>balancing purpose，允許沒秒的帶寬；為了防止balance過程搶占網(wǎng)絡資源，不為Mapreduce作業(yè)或者數(shù)據(jù)輸入預留資源</description>

</property>

<property>

<name>dfs.namenode.handler.count</name>

<value>46</value>

<!-- 設(shè)置該值的一般原則是將其設(shè)置為集群大小的自然對數(shù)乘以20，即20logN，N為集群大小;python -c 'import math ; print int(math.log(N) * 20)' -->

</property>

<property>

<name>dfs.datanode.max.xcievers</name>

<value>8192</value>

<description>相當于linux下的打開文件大數(shù)量，文檔中無此參數(shù)，當出現(xiàn)DataXceiver報錯的時候，需要調(diào)大。默認256;

此項配置已過時，用dfs.datanode.max.transfer.threads代替，源代碼見DFSConfigKeys.java

</description>

</property>

<property>

<name>dfs.datanode.max.transfer.threads</name>

<value>8192</value>

<description>相當于linux下的打開文件大數(shù)量，文檔中無此參數(shù)，當出現(xiàn)DataXceiver報錯的時候，需要調(diào)大。默認256

</description>

</property>

<property>

<name>dfs.datanode.socket.write.timeout</name>

<value>100000000</value>

<description> IO超時,超時上限值以毫秒為單位。0表示無限制;java.net.SocketTimeoutException: 480000（配置參數(shù)的值） millis timeout while waiting for channel to be ready for write</description>

</property>

<property>

<name>dfs.client.socket-timeout</name>

<value>100000000</value>

<description> IO超時,超時上限值以毫秒為單位。0表示無限制;java.net.SocketTimeoutException: 480000（配置參數(shù)的值） millis timeout while waiting for channel to be ready for write</description>

</property>

<property>

<name>dfs.datanode.du.reserved</name>

<value>21474836480</value>

<description>每個存儲卷保留用作其他用途( non dfs use）的磁盤大小,20G；單位 bytes per volume</description>

</property>

<property>

<name>dfs.datanode.fsdataset.volume.choosing.policy</name>

<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>

<description>數(shù)據(jù)副本存放磁盤選擇策略，

第一種是沿用hadoop1.0的磁盤目錄輪詢方式，實現(xiàn)類：RoundRobinVolumeChoosingPolicy.java（如果不配置，默認）

第二種是選擇可用空間足夠多的磁盤方式存儲，實現(xiàn)類：AvailableSpaceVolumeChoosingPolicy.java

</description>

</property>

<property>

<name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>

<value>2147483648</value>

<description>允許的卷剩余空間差值，2G

</description>

</property>

<property>

<name>dfs.hosts.exclude</name>

<value>/usr/local/hadoop/etc/hadoop/exclude_hosts</value>

<description>一個列表，列表中的hosts不允許連接namenode</description>

</property>

<property>

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

<description>打開本地讀功能</description>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/hadoop/1/dfs/dn_socket_PORT</value>

<description>dfs.domain.socket.path是Datanode和DFSClient之間溝通的Socket的本地路徑

套接口文件

</description>

</property>

<!-- 權(quán)限相關(guān) Begin -->

<property>

<name>dfs.permissions.enabled</name>

<value>true</value>

<description>HDFS權(quán)限認證，是否打開</description>

</property>

<property>

<name>dfs.permissions.superusergroup</name>

<value>hadoop</value>

<description>超級用戶，format namenode的用戶</description>

</property>

<property>

<name>fs.permissions.umask-mode</name>

<value>022</value>

<description>core-site.xml的配置文件，注意umask對文件，文件夾影響不同</description>

</property>

<property>

<name>dfs.namenode.acls.enabled</name>

<value>true</value>

<description>

</description>

</property>

<!-- 權(quán)限相關(guān) End -->

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

本文名稱：【總結(jié)】Hadoop配置文件hdfs-site.xml-創(chuàng)新互聯(lián)
URL分享：http://vcdvsql.cn/article0/ddghoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務器、企業(yè)建站、網(wǎng)站收錄、App設(shè)計、App開發(fā)、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)