| 軟件 | 版本 | 下載地址 |
|---|---|---|
| linux | Ubuntu Server 18.04.2 LTS | https://ubuntu.com/download/server |
| hadoop | hadoop-2.7.1 | http://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz |
| java | jdk-8u211-linux-x64 | https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html |
1.2 節點安排
| 名稱 | ip | hostname |
|---|---|---|
| 主節點 | 192.168.233.200 | Master |
| 子節點1 | 192.168.233.201 | Slave01 |
| 子節點2 | 192.168.233.202 | Slave02 |
2 創建hadoop用戶
所有的節點均創建一個名為hadoop的用戶，并添加管理員權限。
注意：這里這是單純為了方便管理，創建的用戶名，也可以使用其他用戶名，或者使用系統之前的用戶，主要有管理員權限即可
$ sudo useradd -m hadoop -s /bin/bash #創建用戶 $ sudo passwd hadoop #修改密碼 $ sudo adduser hadoop sudo #添加管理員權限
3 配置網絡環境
3.1 修改主機名
修改 /etc/hostname文件，每個節點都要修改。
注意：如果是ubuntu18.04桌面版直接修改/etc/hostname文件即可，ubuntu18.04服務器版還需要修改/etc/cloud/cloud.cfg文件，修改如下：
# This will cause the set+update hostname module to not operate (if true) preserve_hostname: true #這里是將false改成true
3.2 添加IP與主機名的映射關系
在/etc/hosts文件里添加如下內容（每個節點都要修改，根據實際情況修改ip)
192.168.233.200 Master 192.168.233.201 Slave01 192.168.233.202 Slave02
檢查各個節點是否能相互ping通。
3.3 設置SSH無密碼登錄節點
讓Master能夠通過SSH無密碼登錄各個Slave節點
如果修改過主機名，需要重新生成的新的公鑰。
在Master上執行如下命令：
$ cd ~/.ssh # 如果沒有該目錄，先執行一次ssh localhost $ rm ./id_rsa* # 刪除之前生成的公匙（如果已經存在） $ ssh-keygen -t rsa # 執行該命令后，遇到提示信息，一直按回車就可以 $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
接著將Master中的id_rsa.pub文件復制到各個Slave節點中
$ scp ~/.ssh/id_rsa.pub hadoop@Slave01:/home/hadoop/ $ scp ~/.ssh/id_rsa.pub hadoop@Slave02:/home/hadoop/
在各個Slave節點中執行如下命令：
$ mkdir ~/.ssh # 如果不存在該文件夾需先創建 $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys $ rm ~/id_rsa.pub # 用完以后就可以刪掉
在Master中驗證是否可以無密碼登錄，各個Slave節點。
如：
$ ssh Slave01 #如果成功登錄，則配置完成 $ ssh Slave02 #如果成功登錄，則配置完成
4 安裝java環境
每個節點都要安裝，步驟相同
為了方便操作每個節點，默認在/usr/local/下新建一個名為bigdata的文件夾，存放所有的大數據相關的軟件。
$ sudo mkdir /usr/local/bigdata $ sudo chown -R hadoop:hadoop /usr/local/bigdata/
4.1 解壓
$ sudo mkdir /usr/local/bigdata/java $ sudo tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/bigdata/java/
4.2 添加環境變量
在~/.bashrc文件中添加如下內容，并執行$ source ~/.bashrc命令使其生效
#java
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
5 解壓hadoop
下載hadoop-2.7.1.tar.gz文件，并解壓到/usr/local/bigdata/文件夾下
$ sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/bigdata
6 修改hadoop配置文件
需要修改6個文件，文件位于/usr/local/bigdata/hadoop-2.7.1/etc/hadoop/下
6.1 slave 文件
將文件中原來的 localhost 刪除，添加內容：
Slave01 Slave02
6.2 core-site.xml 文件
內容修改為：
configuration>
!-- 指定HADOOP所使用的文件系統schema（URI）-->
property>
name>fs.defaultFS/name>
value>hdfs://Master:9000/value>
/property>
!-- 指定hadoop運行時產生文件的存儲目錄 -->
property>
name>hadoop.tmp.dir/name>
value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/value>
description>Abase for other temporary directories./description>
/property>
/configuration>
6.3 hdfs-site.xml文件
Hadoop的分布式文件系統HDFS一般采用冗余存儲，一份文件通常保存3份副本，所以dfs.replication的值還是設置為3。
具體內容如下：
configuration>
property>
!-- 指定SecondaryNamenode所在地址 -->
name>dfs.namenode.secondary.http-address/name>
value>Master:50090/value>
/property>
property>
name>dfs.replication/name>
value>3/value>
/property>
property>
name>dfs.namenode.name.dir/name>
value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/name/value>
/property>
property>
name>dfs.datanode.data.dir/name>
value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/data/value>
/property>
/configuration>
6.4 mapred-site.xml 文件
修改內容如下：
configuration>
property>
name>mapreduce.framework.name/name>
value>yarn/value>
/property>
property>
name>mapreduce.jobhistory.address/name>
value>Master:10020/value>
/property>
property>
name>mapreduce.jobhistory.webapp.address/name>
value>Master:19888/value>
/property>
/configuration>
6.5 yarn-site.xml文件
內容如下：
configuration>
property>
name>yarn.resourcemanager.hostname/name>
value>Master/value>
/property>
property>
name>yarn.nodemanager.aux-services/name>
value>mapreduce_shuffle/value>
/property>
/configuration>
6.6 hadoop-env.sh 文件
修改如下內容：
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211 # 可以不用 export HADOOP_HOME=/usr/local/hadoop-2.7.1
7 設置hadoop環境變量
每個節點都要設置
在~/.bashrc文件中添加如下內容，并$ source ~/.bashrc使其生效
export PATH=$PATH:/usr/local/bigdata/hadoop-2.7.1/bin:/usr/local/bigdata/hadoop-2.7.1/sbin
8 slave節點配置
slave節點只需將master節點上/usr/local/下的bigdata文件夾和~/.bashrc文件，放到slave節點即可
注意切換到對應機器執行$ source ~/.bashrc使環境變量生效。
后續的軟件均可使用此方式配置。
在master節點：
$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/tmp # 刪除 Hadoop 臨時文件，如果之前有啟動過 $ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/logs/* # 刪除日志文件，如果之前有啟動過 $ tar -zcvf ~/bigdata.tar.gz /usr/local/bigdata/ # 先壓縮再復制 $ scp ~/bigdata.tar.gz Slave01:/home/hadoop $ scp ~/bigdata.tar.gz Slave02:/home/hadoop $ scp ~/bashrc Slave01:/home/hadoop $ scp ~/bashrc Slave02:/home/hadoop
在各個slave節點上
$ sudo mkdir /usr/local/bigdata $ sudo chown -R hadoop：hadoop /usr/local/bigdata $ tar -zxvf ~/bigdata.tar.gz -C /usr/local/bigdata $ sudo source ~/.bashrc
9 啟動Hadoop集群
在Master上執行
首次運行需要，執行
$ hdfs namenode -format
格式化名稱節點，然后就可以啟動hadoop了。
啟動hadoop：
$ start-dfs.sh $ start-yarn.sh $ mr-jobhistory-daemon.sh start historyserver
使用jps查看啟動的各個節點，缺少任何進程，都表示出錯。
$ jps 3585 JobHistoryServer 2938 NameNode 3148 SecondaryNameNode 3308 ResourceManager 3629 Jps
瀏覽器查看：http://192.168.233.200:50070/
查看相關信息：$ hdfs dfsadmin -report
關閉hadoop：
$ stop-yarn.sh $ stop-dfs.sh $ mr-jobhistory-daemon.sh stop historyserver
如果有問題，重復如下命令：
$ stop-dfs.sh # 關閉 $ rm -r /usr/local/bigdata/hadoop-2.7.1/tmp # 刪除 tmp 文件，注意這會刪除 HDFS中原有的所有數據 $ hdfs namenode -format # 重新格式化名稱節點 $ start-dfs.sh # 重啟
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
