[大数据]Apache Hadoop 完全分布式集群搭建（自备三台虚拟机，仅供学习使用）

Apache Hadoop 完全分布式集群搭建

环境搭建准备

• 软件和操作系统版本

  Hadoop框架是采用Java语言编写，需要java环境（jvm）

  JDK版本：JDK8版本

• Hadoop搭建方式

  单机模式：单节点模式，非集群，生产不会使用这种方式

  单机伪分布式模式：单节点，多线程模拟集群的效果，生产不会使用这种方式

  完全分布式模式：多台节点，真正的分布式Hadoop集群的搭建（生产环境建议使用这种方式）

1. 三台虚拟机（静态IP，关闭防火墙，修改主机名，配置免密登录，集群时间同步）可以自己去百度，后期在将教程上传

2. 在/opt目录下创建文件夹

   mkdir -p /opt/szx/software   --软件安装包存放目录
   mkdir -p /opt/szx/servers   --软件安装目录
   

3. Hadoop下载地址：

   https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/
   

   Hadoop官网地址：

   http://hadoop.apache.org/
   

4. 上传hadoop安装文件到/opt/szx/software

集群规划

安装Hadoop

• 登录linux121节点；进入/opt/szx/software,解压安装文件到/opt/szx/servers

  tar -zxvf hadoop-2.9.2.tar.gz -C /opt/szx/servers
  

• 查看是否解压成功

  ll /opt/szx/servers/hadoop-2.9.2
  

• 添加Hadoop到环境变量 vi /etc/profile

  ##HADOOP_HOME
  export HADOOP_HOME=/opt/szx/servers/hadoop-2.9.2
  export PATH=$PATH:$HADOOP_HOME/bin
  export PATH=$PATH:$HADOOP_HOME/sbin
  

• 使环境变量生效

  source /etc/profile
  

• 验证hadoop

  hadoop version
  

• hadoop目录

  drwxr-xr-x. 2 root root  194 Nov 13 2018 bin
  drwxr-xr-x. 3 root root   20 Nov 13 2018 etc
  drwxr-xr-x. 2 root root  106 Nov 13 2018 include
  drwxr-xr-x. 3 root root   20 Nov 13 2018 lib
  drwxr-xr-x. 2 root root  239 Nov 13 2018 libexec
  -rw-r--r--. 1 root root 106210 Nov 13 2018 LICENSE.txt
  -rw-r--r--. 1 root root 15917 Nov 13 2018 NOTICE.txt
  -rw-r--r--. 1 root root  1366 Nov 13 2018 README.txt
  drwxr-xr-x. 3 root root  4096 Nov 13 2018 sbin
  drwxr-xr-x. 4 root root   31 Nov 13 2018 share
  
  1. bin目录:对Hadoop进行操作的相关命令，如hadoop,hdfs等
  2. etc目录：Hadoop的配置文件目录，入hdfs-site.xml,core-site.xml等
  3. lib目录：Hadoop本地库（解压缩的依赖）
  4. sbin目录：存放的是Hadoop集群启动停止相关脚本，命令
  5. share目录：Hadoop的一些jar,官方案例jar，文档等
  

集群配置

Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置

• HDFS集群配置

  1. 将JDK路径明确配置给HDFS（修改hadoop-env.sh）
  2. 指定NameNode节点以及数据存储目录（修改core-site.xml）
  3. 指定SecondaryNameNode节点（修改hdfs-site.xml）
  4. 指定DataNode从节点（修改etc/hadoop/slaves文件，每个节点配置信息占一行）

• MapReduce集群配置

  1. 将JDK路径明确配置给MapReduce（修改mapred-env.sh）
  2. 指定MapReduce计算框架运行Yarn资源调度框架（修改mapred-site.xml）

• Yarn集群配置

  1. 将JDK路径明确配置给Yarn（修改yarn-env.sh）
  2. 指定ResourceManager老大节点所在计算机节点（修改yarn-site.xml）
  3. 指定NodeManager节点（会通过slaves文件内容确定）（若完成HDFS集群配置第四步，此步可省略）

集群配置具体步骤：

HDFS集群配置

cd /opt/szx/servers/hadoop-2.9.2/etc/hadoop

• 配置：hadoop-env.sh

  将JDK路径明确配置给HDFS

  vi hadoop-env.sh
  
  export JAVA_HOME=/opt/szx/servers/jdk1.8.0_231
  

• 指定NameNode节点以及数据存储目录（修改core-site.xml）

  vi core-site.xml
  
  <!-- 指定HDFS中NameNode的地址 -->
  <property>
  	<name>fs.defaultFS</name>
  	<value>hdfs://linux121:9000</value>
  </property>
  <!-- 指定Hadoop运行时产生文件的存储目录 -->
  <property>
  	<name>hadoop.tmp.dir</name>
  	<value>/opt/szx/servers/hadoop-2.9.2/data/tmp</value>
  </property>
  

• core-site.xml的默认配置：

  https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core-default.xml
  

• 指定secondarynamenode节点(修改hdfs-site.xml)

  vi hdfs-site.xml
  
  <!-- 指定Hadoop辅助名称节点主机配置 -->
  <property>
  	<name>dfs.namenode.secondary.http-address</name>
  	<value>linux123:50090</value>
  </property>
  <!--副本数量 -->
  <property>
  	<name>dfs.replication</name>
  	<value>3</value>
  </property>
  

  

  官方默认配置

  https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
  

• 指定datanode从节点(修改slaves文件，每个节点配置信息占一行)

  vi slaves
  
  linux121
  linux122
  linux123
  

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

MapReduce集群配置

• 指定MapReduce使用的jdk路径（修改mapred-env.sh）

  vi mapred-env.sh
  
  export JAVA_HOME=/opt/szx/servers/jdk1.8.0_231
  

  

• 指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)

  mv mapred-site.xml.template mapred-site.xml
  
  vi mapred-site.xml
  
  <!-- 指定MR运行在Yarn上 -->
  <property>
  	<name>mapreduce.framework.name</name>
  	<value>yarn</value>
  </property>
  

  

  mapred-site.xml默认配置：

  https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
  

Yarn集群配置

• 指定JDK路径

  vi yarn-env.sh
  
  export JAVA_HOME=/opt/szx/servers/jdk1.8.0_231
  

• 指定ResourceMnager的master节点信息(修改yarn-site.xml)

  vi yarn-site.xml<!-- 指定YARN的ResourceManager的地址 --><property>	<name>yarn.resourcemanager.hostname</name>	<value>linux123</value></property><!-- Reducer获取数据的方式 --><property>	<name>yarn.nodemanager.aux-services</name>	<value>mapreduce_shuffle</value></property>
  

yarn-site.xml的默认配置

https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

• 指定NodeManager节点（slaves文件已修改）

注意：

Hadoop安装目录所属用户和所属用户组信息，默认是501 dialout，而我们操作Hadoop集群的用户使用的是虚拟机的root用户，所以为了避免出现信息混乱，修改Hadoop安装目录所属用户和用户组！！

chown -R root:root /opt/szx/servers/hadoop-2.9.2

分发配置

编写集群分发脚本rsync-script

• rsync 远程同步工具

  rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

  rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

  1. 基本语法

     rsync  -rvl   $pdir/$fname     $user@$host:$pdir/$fname
     

     命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

  2. 选项参数说明

     选项	功能
     -r	递归
     -v	显示复制过程
     -l	拷贝符号连接

• rsync案例

  1. 三台虚拟机安装rsync (执行安装需要保证机器联网)

     yum install -y rsync
     

  

  2. 把linux121机器上的/opt/szx/software目录同步到linux122服务器的root用户下的/opt/目录

     rsync -rvl /opt/szx/software/ root@linux122:/opt/szx/software
     

     

• 集群分发脚本编写

  1. 需求：循环复制文件到集群所有节点的相同目录下

     rsync命令原始拷贝：

     rsync  -rvl  /opt/module root@linux123:/opt/
     

  2. 期望脚本

  3. 说明：在/usr/local/bin这个目录下存放的脚本，root用户可以在系统任何地方直接执行。

  4. 脚本实现

     (1) 在/usr/local/bin目录下创建文件rsync-script，文件内容如下：

     touch rsync-scriptvi rsync-script
     

     在文件中编写shell代码

     #!/bin/bash#1 获取命令输入参数的个数，如果个数为0，直接退出命令paramnum=$#if((paramnum==0)); then	echo no params;exit;fi#2 根据传入参数获取文件名称p1=$1file_name=`basename $p1`echo fname=${file_name}#3 获取输入参数的绝对路径dir_name=`cd -P $(dirname $p1); pwd`echo dirname=${dir_name}#4 获取用户名称user=`whoami`#5 循环执行rsyncfor((host=121; host<124; host++)); doecho ------------------- target hostname=linux$host -------------------rsync -rvl ${dir_name}/${file_name} ${user}@linux${host}:${dir_name}done
     

     (2) 修改脚本 rsync-script 具有执行权限

     chmod 777 rsync-script
     

     (3) 调用脚本形式：rsync-script 文件名称

     rsync-script rsync-script
     

     

     (4) 调用脚本分发Hadoop安装目录到其它节点

     rsync-script /opt/szx/servers/hadoop-2.9.2
     

     

启动集群

注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格式化Namenode操作！！

单节点启动

hadoop namenode -format

格式化后创建的文件：/opt/szx/servers/hadoop-2.9.2/data/tmp/dfs/name/current

1. 在linux121上启动NameNode

   [root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode[root@linux121 hadoop-2.9.2]$ jps
   

   

2. 在linux121、linux122以及linux123上分别启动DataNode

   [root@linux121 hadoop-2.9.2]# hadoop-daemon.sh start datanodestarting datanode, logging to /opt/szx/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux121.out[root@linux121 hadoop-2.9.2]# jps7562 NameNode7738 Jps7660 DataNode#在使用该命令时不要忘记给/etc/profile文件配置hadoop的路径[root@linux122 hadoop-2.9.2]# hadoop-daemon.sh start datanodestarting datanode, logging to /opt/szx/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux122.out[root@linux122 sbin]# jps7553 DataNode7631 Jps[root@linux123 hadoop-2.9.2]# hadoop-daemon.sh start datanodestarting datanode, logging to /opt/szx/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux123.out[root@linux123 sbin]# jps7669 DataNode7711 Jps
   

3. web端查看Hdfs界面

   http://linux121:50070/dfshealth.html#tab-overview
   

   

查看HDFS集群正常节点：

Yarn集群单节点启动

[root@linux123 sbin]# yarn-daemon.sh start resourcemanagerstarting resourcemanager, logging to /opt/szx/servers/hadoop-2.9.2/logs/yarn-root-resourcemanager-linux123.outYou have new mail in /var/spool/mail/root[root@linux123 sbin]# jps8033 Jps7669 DataNode7818 ResourceManager[root@linux122 sbin]# yarn-daemon.sh start nodemanagerstarting nodemanager, logging to /opt/szx/servers/hadoop-2.9.2/logs/yarn-root-nodemanager-linux122.outYou have new mail in /var/spool/mail/root[root@linux122 sbin]# jps7553 DataNode7975 Jps7871 NodeManager[root@linux121 hadoop-2.9.2]# yarn-daemon.sh start nodemanagerstarting nodemanager, logging to /opt/szx/servers/hadoop-2.9.2/logs/yarn-root-nodemanager-linux121.out[root@linux121 hadoop-2.9.2]# jps8017 Jps7562 NameNode7660 DataNode7965 NodeManager

集群群起

1. 如果已经单节点方式启动了Hadoop,可以先停止之前的启动的Namenode与Datanode进程,如果之前Namenode没有执行格式化，这里需要执行格式化!!!

hadoop namenode -format

2. 启动HDFS

   [root@linux121 sbin]# start-dfs.sh Starting namenodes on [linux121]linux121: starting namenode, logging to /opt/szx/servers/hadoop-2.9.2/logs/hadoop-root-namenode-linux121.outlinux121: starting datanode, logging to /opt/szx/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux121.outlinux123: starting datanode, logging to /opt/szx/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux123.outlinux122: starting datanode, logging to /opt/szx/servers/hadoop-2.9.2/logs/hadoop-root-datanode-linux122.outStarting secondary namenodes [linux123]linux123: starting secondarynamenode, logging to /opt/szx/servers/hadoop-2.9.2/logs/hadoop-root-secondarynamenode-linux123.out[root@linux121 sbin]# jps8282 NameNode8413 DataNode8621 Jps[root@linux122 hadoop-2.9.2]# jps8134 DataNode8214 Jps[root@linux123 hadoop-2.9.2]# jps8340 Jps8199 DataNode8297 SecondaryNameNode
   

3. 启动YARN

   [root@linux123 sbin]# start-yarn.sh
   

Hadoop集群启动停止命令汇总

1. 各个服务组件逐一启动/停止

   （1）分别启动/停止HDFS组件

   hadoop-daemon.sh  start / stop namenode / datanode / secondarynamenode
   

   [root@linux121 hadoop-2.9.2]# hadoop-daemon.sh stop namenodestopping namenode[root@linux121 hadoop-2.9.2]# hadoop-daemon.sh stop datanodestopping datanode
   

   （2）启动/停止YARN

   yarn-daemon.sh  start / stop resourcemanager / nodemanager
   

   [root@linux121 hadoop-2.9.2]# yarn-daemon.sh stop nodemanagerstopping nodemanager
   

2. 各个模块分开启动/停止（配置ssh是前提）常用

   （1）整体启动/停止HDFS

   start-dfs.sh / stop-dfs.sh
   

   （2）整体启动/停止YARN

   start-yarn.sh / stop-yarn.sh
   

集群测试

1. HDFS 分布式存储初体验

   从linux本地文件系统上传下载文件验证HDFS集群工作正常

   #进入root目录cd /root#创建文件test.txtvi text.txt#写入测试数据hello hdfs#在hdfs创建目录，使用hdfs语法hdfs dfs -mkdir -p /test/input#上传linux文件到hdfshdfs dfs -put /root/text.txt /test/input			-- -put参数是上传#删除本地创建的测试文件，使用hdfs下载命令下载rm -rf text.txt#使用hdfs下载文件hdfs dfs -get /test/input/text.txt					-- -get参数是下载
   

   

   

   

2. MapReduce 分布式计算初体验

   • 在HDFS文件系统根目录下面创建一个wcinput文件夹

     [root@linux121 ~]# hdfs dfs -mkdir /wcinput
     

     

   • 在/root/目录下创建一个wc.txt文件(本地文件系统)

     [root@linux121 ~]# cd /root/[root@linux121 ~]# touch wc.txt
     

   • 编辑wc.txt文件

     [root@linux121 ~]# vi wc.txt
     

   • 在文件中输入如下内容

     hadoop mapreduce yarnhdfs hadoop mapreducemapreduce yarn szxszxszx
     

   • 保存退出

     :wq!
     

   • 上传wc.txt到Hdfs目录/wcinput下

     [root@linux121 ~]# hdfs dfs -put /root/wc.txt  /wcinput
     

     

   • 回到Hadoop目录/opt/szx/servers/hadoop-2.9.2

   • 执行程序

     #命令解析：hadoop jar /hadoop自带的运行jar包路径，类似于Java /运算形式，可以自己百度 /此目录为自己想要计算数据存在目录，必须已经存在 /此目录为结果输出目录，必须在运行前不存在hadoop jar /opt/szx/servers/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
     

     

   • 查看结果

     [root@linux121 mapreduce]# hdfs dfs -cat /wcoutput/part-r-00000hadoop	2hdfs	1mapreduce	3szx	3yarn	2
     

配置历史服务器

在Yarn中运行的任务产生的日志数据不能查看，为了查看程序的历史运行情况，需要配置一下历史日志服务器。具体配置步骤如下：

1. 配置mapred-site.xml

   #进入配置目录cd /opt/szx/servers/hadoop-2.9.2/etc/hadoop/[root@linux121 hadoop]# vi mapred-site.xml
   

   <!-- 历史服务器端地址 --><property>	<name>mapreduce.jobhistory.address</name>	<value>linux121:10020</value></property><!-- 历史服务器web端地址 --><property>	<name>mapreduce.jobhistory.webapp.address</name>	<value>linux121:19888</value></property>
   

   

2. 分发mapred-site.xml到其它节点

   rsync-script mapred-site.xml
   

3. 启动历史服务器

   [root@linux121 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh start historyserverstarting historyserver, logging to /opt/szx/servers/hadoop-2.9.2/logs/mapred-root-historyserver-linux121.out
   

4. 查看历史服务器是否启动

   [root@linux121 hadoop-2.9.2]# jps9361 DataNode9874 Jps9622 NodeManager9226 NameNode9805 JobHistoryServer
   

5. 查看JobHistory

   http://linux121:19888/jobhistory
   

   

配置日志的聚集

日志聚集：应用(Job)运行完成以后，将应用运行日志信息从各个task汇总上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

1. 配置yarn-site.xml

   #进入配置目录cd /opt/szx/servers/hadoop-2.9.2/etc/hadoop/[root@linux121 hadoop]# vi yarn-site.xml
   

   

2. 分发yarn-site.xml到集群其它节点

   rsync-script yarn-site.xml
   

3. 关闭NodeManager 、ResourceManager和HistoryManager

   直接使用群关即可（注意相应服务器进行）
   

4. 启动NodeManager 、ResourceManager和HistoryManager

   直接使用群起即可（注意相应服务器进行）
   

5. 删除HDFS上已经存在的输出文件

   hdfs dfs -rm -R /wcoutput
   

6. 执行WordCount程序

   hadoop jar /opt/szx/servers/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
   

7. 查看日志，如图所示

   http://linux121:19888/jobhistory