Hadoop完全分佈式安裝與部署

NO IMAGE

Hadoop官方指導傳送門 傳送門

截止當前(2020年01月08日),Hadoop最新版本是3.2.1,本文依據3.2.1部署安裝

本篇文章只介紹瞭如何安裝和配置範圍從幾個節點到具有數千個節點的超大型Hadoop集群。
要快速天眼使用Hadoop,可能只需要將其安裝在單臺服務器上。

本篇文章不涉及hadoop安全或高可用性等高級話題。

服務器準備

服務器規劃,提供四臺服務器,OS 為centos 7

修改主機名

hostnamectl set-hostname centos-x

x 為我們每臺服務器

完成我們的主機如下

主機名IP預備分配服務
centos-110.211.55.11DataNode NodeManager NameNode
centos-210.211.55.12DataNode NodeManager SecondaryNameNode
centos-310.211.55.13DataNode NodeManager ResourceManager
centos-410.211.55.14DataNode NodeManager HistoryServer
Hadoop完全分佈式安裝與部署

Hadoop完全分佈式安裝與部署

安裝openJDK-8

通過yum安裝jdk

yum update
yum install java-1.8.0-openjdk-devel -y

修改 環境變量

vim /etc/profile

在尾部新增

export JAVA_HOME=$(dirname $(dirname $(readlink $(readlink $(which javac)))))
export PATH=$JAVA_HOME/bin:$PATH

配置服務器靜態IP

Hadoop完全分佈式安裝與部署

vim /etc/sysconfig/network-scripts/ifcfg-enp0s5

完整配置如下

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" # 修改dhcp 為 static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="enp0s5"
UUID="e2bda9d6-dc4f-4513-adbc-fdf3a1e2f384"
DEVICE="enp0s5"
ONBOOT="yes"
# 新增
GATEWAY=10.211.55.1 # 修改網關,虛擬機需要注意修改nat
IPADDR=10.211.55.12 # 分配IP地址
NETMASK=255.255.255.0 # 子網掩碼
DNS1=223.5.5.5 # 使用阿里公共DNS1
DNS2=223.6.6.6 # 使用阿里公共DNS2

增加 dhfs 用戶

通常,建議HDFS和YARN以單獨的用戶身份運行。

在大多數安裝中,HDFS進程以“hdfs”執行。YARN通常使用“yarn”帳戶

adduser hdfs
passwd hdfs # 修改密碼

設置SSH無密碼登錄

四臺服務器全部設置

ssh-keygen -t rsa
  1. 分配ssh key
ssh-copy-id centos-1
ssh-copy-id centos-2
ssh-copy-id centos-3
ssh-copy-id centos-4

安裝部署Hadoop

切換至 hdfs 用戶

su - hdfs

下載

curl http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz -O

解壓

這裡直接解壓到/usr/local/

tar -zxf hadoop-3.2.1.tar.gz  -C /usr/local/hadoop-3.2.1

修改環境變量

sudo vim /etc/profile

修改原先配置為

export JAVA_HOME=$(dirname $(dirname $(readlink $(readlink $(which javac)))))
export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

修改配置

這裡我們進入$HADOOP_HOME文件夾開始操作

mkdir -p $HADOOP_HOME/hdfs/data
mkdir -p $HADOOP_HOME/tmp

配置hadoop-env.sh

sudo vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

增加 或 修改

export JAVA_HOME=$(dirname $(dirname $(readlink $(readlink $(which javac)))))

配置core-site.xml

vim etc/hadoop/core-site.xml

configuration配置如下

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.211.55.11:4000</value>
<description>HDFS的URI,文件系統://namenode標識:端口號</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-3.2.1/tmp</value>
<description>namenode上本地的hadoop臨時文件夾</description>
</property>
</configuration>

fs.defaultFSNameNode的地址。
hadoop.tmp.dirhadoop臨時目錄的地址,默認情況下,NameNodeDataNode的數據文件都會存在這個目錄下的對應子目錄下。

配置hdfs-site.xml

vim etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>10.211.55.12:50090</value>
</property>
<property>
<name>dfs.http.address</name>
<value>10.211.55.11:50070</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.2.1/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.2.1/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和端口號,因為在規劃中,我們將centos-2規劃為SecondaryNameNode服務器。

dfs.http.address配置的是本機默認的dfs地址,有些服務器可以不用配置,我的試過了,必須加上,不然後續網頁打不開。
dfs.namenode.name.dir 指定name文件夾,dfs.datanode.data.dir 指定data文件夾
dfs.datanode.data.dir 指定副本數,一般小於服務器數,我們設置為3

配置workers

hadoop2.x中叫做slaves,在3.x版本中改名workers
用來指定HDFS上有哪些DataNode節點,以及各個節點使用ip地址或者主機名,用換行分隔。

vim etc/hadoop/workers

這裡我們就使用主機名

centos-1
centos-2
centos-3
centos-4

配置yarn-site.xml

vim etc/hadoop/yarn-site.xml

配置如下

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>centos-3</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>
</configuration>

按照規劃使用centos-3做為 resourcemanager
使用yarn.log-aggregation-enable開啟日誌聚合,yarn.log-aggregation.retain-seconds配置聚集的日誌在HDFS上最多保存多長時間。

配置mapred-site.xml

vim etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>centos-4:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>centos-4:19888</value>
</property>
</configuration>

mapreduce.framework.name設置mapreduce任務運行在yarn上。
mapreduce.jobhistory.address是設置mapreduce的歷史服務器安裝在centos-4上。
mapreduce.jobhistory.webapp.address是設置歷史服務器的web頁面地址和端口號。
yarn.app.mapreduce.am.env,mapreduce.map.env,mapreduce.reduce.env需要設置為HADOOP_MAPRED_HOME=${HADOOP_HOME},否則在運行yarn程序的時候會出現jar包未找到的錯誤。

啟動 hadoop集群

完成上述所有必要的配置後,將文件分發到所有服務器的HADOOP_CONF_DIR目錄下(/user/local)。在所有計算機上,該目錄應該是相同的目錄。

格式化

要啟動Hadoop集群,需要同時啟動HDFSYARN集群。
首次啟動HDFS時,必須對其進行格式化。將新的分佈式文件系統格式化為hdfs.

$HADOOP_HOME/bin/hdfs namenode -format <群集名稱>

集群名稱可以不填寫,不出意外,執行完成後$HADOOP_HOME/hdfs/data中就有東西了。

啟動 HDFS

如果配置了workersssh互信我們可以

$HADOOP_HOME/sbin/start-dfs.sh

啟動 YARN

如果配置了workers和ssh互信我們可以

$HADOOP_HOME/sbin/start-yarn.sh

若上面沒有配置的workersssh互信我們可以

  1. 啟動namenode
$HADOOP_HOME/bin/hdfs --daemon start namenode
  1. 啟動DataNode
$HADOOP_HOME/bin/hdfs --daemon start datanode

啟動 NodeManager

規劃在centos-4上,因此我們在centos-4上執行

$HADOOP_HOME/bin/yarn --daemon start nodemanager

啟動 ResourceManager

規劃在centos-3上,因此我們在centos-3上執行

$HADOOP_HOME/bin/yarn --daemon start resourcemanager

啟動 HistoryServer

規劃在centos-4上,因此我們在centos-4上執行

$HADOOP_HOME/bin/mapred --daemon start historyserver

查看HDFS Web頁面

位於centos50070端口:http://centos-1:50070/

Hadoop完全分佈式安裝與部署

查看YARN Web 頁面

位於centos-38088端口:http://centos-3:8088/

Hadoop完全分佈式安裝與部署

查看歷史WEB頁面

位於centos-419888端口:http://centos-4:19888/

Hadoop完全分佈式安裝與部署

測試

為了測試我們使用 wordcount 來測試

  1. 新建文件
sudo vim /opt/word.txt
  1. 文本內容
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
  1. 新建hadoop裡文件夾demo
hadoop fs -mkdir /demo
  1. 文件寫入
hdfs dfs -put /opt/word.txt /demo/word.txt
  1. 執行輸入到hadoop的/output
yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /demo/word.txt /output
  1. 查看文件列表
hdfs dfs -ls /output
Found 2 items
-rw-r--r--   3 hdfs supergroup          0 2020-01-07 02:20 /output/_SUCCESS
-rw-r--r--   3 hdfs supergroup         60 2020-01-07 02:20 /output/part-r-00000
  1. 查看文件中內容
hdfs dfs -cat /output/part-r-00000
2020-01-07 16:40:19,951 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
hadoop	3
hbase	1
hive	2
mapreduce	1
spark	2
sqoop	1
storm	1

相關文章

異常記錄——使用Mybatis報BindingException

GoWeb編程之模板(一)

Kotlin系列之函數的定義與調用

Scala教程之:可變和不變集合