一、hadoop的組成

• hadoop1.x：Commons、HDFS（數據存儲）、MapReduce（資源調度+計算）
• hadoop2.x:Commons、HDFS（數據存儲）、MapReduce（計算）、Yarn(資源調度)

1.1 HDFS

成都創新互聯公司2013年開創至今，是專業互聯網技術服務公司，擁有項目成都網站建設、成都網站制作網站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元贛榆做網站,已為上家服務,為贛榆各地企業和個人服務,聯系電話:18980820575

• 分布式存儲文件系統。分為NameNode和DataNode
• NameNode： 管理元數據，負責監控DataNode狀態，存儲在內存。
• DataNode: 負責存儲具體的數據。dataNode和nameNode有一個心跳機制，數據存儲在磁盤。

1.2 Yarn（資源調度）

• Resource Manager：所有資源（內存、CPU等）的管理者
• Node Manager: 單一資源的管理者。
• ApplicationMaster: 單個任務的執行者
• Container: 容器，相當于一臺獨立的服務器，有對應運行所需要的的資源

1.2 MapReduce（計算）

將任務分發給每一臺服務器，然后結果匯總到一臺服務器

二、VM配置多臺服務器

1.1 修改虛擬機配置ip網段

• VM點擊編輯，設置虛擬網絡編輯器，點擊VMnet8修改子網ip為192.168.10.0，修改網關為192.168.10.2。
• windows打開網絡配置，點擊vm8修改ipv4
  
• 修改/etc/sysconfig/network-scripts/ifcfg-ens33
  修改BOOTPROTO為static #靜態ip
  #添加一下內容
  IPADDR=192.168.10.100
  GATEWAY=192.168.10.2
  DNS1=192.168.10.2
• 修改hostname為hadoop100
  vi /etc/hostname
• 修改hosts映射
  vi /etc/hosts
  #添加以下內容
  192.168.10.100 hadoop100
  192.168.10.101 hadoop101
  192.168.10.102 hadoop102
  192.168.10.103 hadoop103
  192.168.10.104 hadoop104
  192.168.10.105 hadoop105
  192.168.10.106 hadoop106
  192.168.10.107 hadoop107
  192.168.10.108 hadoop108

1.2 虛擬機的基礎配置

• 如果虛擬機為最小系統安裝，需要安裝如下工具
  #軟件庫(官方的rpm會缺少一些包)
  yum install -y epel-release
  #vim
  yum install -y vim
  #net-tool
  yum install -y net-tools
• 關閉停止防火墻
  systemctl stop firewalld
systemctl disable firewalld.service

1.3 克隆虛擬機(hadoop102 103 104)

• 關閉虛擬機，進行克隆，創建完整克隆
• 輪流登錄修改ip
  vi /etc/sysconfig/network-scripts/ifcfg-ens33
  修改IPADDR為192.168.10.102 (103 104)
• 修改主機名稱
  vi /etc/hostname hadoop102 (103 104)

三、配置hadoop基本的環境

1.1 在hadoop102上安裝jdk和hadoop

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

1.2 配置jdk的環境變量

cd /etc/profile.d
vim my_env.sh
####
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
####
source /etc/profile

1.3 安裝hadoop

tar -xvzf hadoop-3.1.3.tar.gz -C /opt/module/

1.4 配置hadoop的環境變量

vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

你是否還在尋找穩定的海外服務器提供商？創新互聯www.cdcxhl.cn海外機房具備T級流量清洗系統配攻擊溯源，準確流量調度確保服務器高可用性，企業級服務器適合批量采購，新人活動首月15元起，快前往官網查看詳情吧

標題名稱：hadoop3.x學習（一）--安裝與環境配置-創新互聯
URL地址：http://vcdvsql.cn/article6/hsiog.html

成都網站建設公司_創新互聯，為您提供網站維護、企業網站制作、網站收錄、微信公眾號、標簽優化、域名注冊

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯