[大数据]Hadoop的安装部署

1 本地模式搭建

1.1 本地模式介绍

- 特点:

本地模式，即运?在单台机器上，没有分布式思想，使用的是本地?件系统。

- ?途:

本地模式主要?于对MapReduce程序的逻辑进?调试，确保程序的正确。由于在本地模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。

?1.2 平台软件说明

1.3 环境搭建

1.3.1 JDK的安装

1. 检查是否已经安装过或是否有内置的JDK，如果有，将其卸载

# 卸载之前的原因，主要是需要保证安装的JDK版本的正确性。

[root@oak-ubuntu ~]# rpm -qa | grep jdk? ? ? ? ? ?#如果有,请卸载
[root@oak-ubuntu ~]# rpm -e xxxxxxxx --nodeps? ? ?#将查询到的内置jdk强制卸载

2. 上传jdk1.8到指定路径

使?MobaXterm或者FinalShell直接上传即可，上传到 /root/softwares 下

3. 解压jdk到/usr/local/下

[root@oak-ubuntu?~]# cd /root/softwares 
[root@oak-ubuntu?~]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local

4. 更名操作

# 更改名字，是为了后续时候的时候?便，不?再写后?的版本号

[root@oak-ubuntu ~]# cd /usr/local
[root@oak-ubuntu local]# mv jdk1.8.0_221/ jdk-1.8.0

5. 配置环境变量

[root@oak-ubuntu local]# vim /etc/profile
...上述内容省略，在末尾添加即可...
# Java Environment
export JAVA_HOME=/usr/local/jdk-1.8.0
export PATH=$PATH:$JAVA_HOME/bin

6. 重新引导，使得环境变量?效

[root@oak-ubuntu local]# source /etc/profile

7. 验证，验证自己的Java环境是否搭建完成

[root@oak-ubuntu local]# java -version
java version "1.8.0_152"
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)
[root@oak-ubuntu local]# javac 
...

1.3.2 Hadoop的安装

1. 上传Hadoop到Linux

使?MobaXterm或者FinalShell上传到 /root/softwares 下即可

2. 解压

[root@oak-ubuntu ~]# cd /root/softwares
[root@oak-ubuntu ~]# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local

3.?配置Hadoop的环境变量

[root@oak-ubuntu ~]# vim /etc/profile
...上述内容省略，在最下?添加即可...
# Hadoop Environment
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.重新引导，使得环境变量?效

[root@oak-ubuntu local]# source /etc/profile

5.验证是否配置成功

[root@oak-ubuntu local]# hadoop version
Hadoop 2.7.6
Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r 085099c66cf28be31604560c376fa282e69282b8
Compiled by kshvachk on 2018-04-18T01:33Z
Compiled with protoc 2.5.0
From source with checksum 71e2695531cb3360ab74598755d036
This command was run using /usr/local/hadoop2.7/share/hadoop/common/hadoop-common-2.7.6.jar

1.3.3?Hadoop目录说明

[root@oak-ubuntu hadoop2.7]# ll
total 116
drwxr-xr-x. 2 20415  101   194 Apr 18  2018 bin
drwxr-xr-x. 3 20415  101    20 Apr 18  2018 etc
drwxr-xr-x. 2 20415  101   106 Apr 18  2018 include
drwxr-xr-x. 3 20415  101    20 Apr 18  2018 lib
drwxr-xr-x. 2 20415  101   239 Apr 18  2018 libexec
-rw-r--r--. 1 20415  101 86424 Apr 18  2018 LICENSE.txt
drwxr-xr-x. 3 root  root  4096 Jul 30 08:39 logs
-rw-r--r--. 1 20415  101 14978 Apr 18  2018 NOTICE.txt
-rw-r--r--. 1 20415  101  1366 Apr 18  2018 README.txt
drwxr-xr-x. 2 20415  101  4096 Apr 18  2018 sbin
drwxr-xr-x. 3 20415  101    20 Jun 29 17:18 share
drwxr-xr-x  4 root  root    37 Jul 23 20:56 tmp

- bin => hadoop的?进制执?命令?件存储?录

- sbin => hadoop的执?脚本存储?录

- etc => hadoop的配置?件存储?录

- lib/libexec => hadoop的资源库存储?录

- share => hadoop的共享资源、开发?具和案例存储?录

- include => hadoop的?具脚本存储?录

2??伪分布式集群搭建

2.1. 伪分布式模式介绍

1.特点

- 在?台机器上安装，使?的是分布式思想，即分布式?件系统，?本地?件系 统。

- Hdfs涉及到的相关守护进程(namenode,datanode,secondarynamenode) 都运?在?台机器上，都是独?的java进程。

2. ?途

?Standalone mode 多了代码调试功能，允许检查内存使?情况，HDFS输?输出，以及其他的守护进程交互。

?2.2. 平台软件说明

2.3 伪分布式搭建环境准备?

1. 总纲

1. 确保防?墙是关闭状态。

2. 确保NAT模式和静态IP的确定 （192.168.10.101）

3. 确保/etc/hosts?件?, ip和hostname的映射关系

4. 确保免密登陆localhost有效

5. jdk和hadoop的环境变量配置

?2. 防?墙关闭确认

[root@oak-ubuntu ~]# systemctl stop firewalld
[root@oak-ubuntu ~]# systemctl disable firewalld.service
[root@oak-ubuntu ~]# systemctl stop NetworkManager
[root@oak-ubuntu ~]# systemctl disable NetworkManager
#最好也把selinux关闭掉，这是linux系统的?个安全机制，进??件中将SELINUX设置为disabled
[root@oak-ubuntu ~]# vi /etc/selinux/config
.........
SELINUX=disabled 
.........

3. 配置/etc/hosts?件

-- 进?hosts?件，配置?下ip和hostname
[root@oak-ubuntu ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4
localhost4.localdomain4
::1 localhost localhost.localdomain localhost6
localhost6.localdomain6
192.168.10.128 oak-ubuntu <====添加本机的静态IP和本机的主机名之间的映射关系

4. 确保ssh对localhost的免密登陆认证有效

# 1. 使?rsa加密技术，?成公钥和私钥。?路回?即可
[root@oak-ubuntu ~]# ssh-keygen -t rsa 
# 2. 进?~/.ssh?录下，使?ssh-copy-id命令
[root@oak-ubuntu .ssh]# ssh-copy-id root@localhost
# 3. 进?验证,去掉第?次的询问（yes/no）
[hadoop@oak-ubuntu .ssh]# ssh localhost

5. 安装Jdk和Hadoop，配置相关环境变量

-1. 上传和解压两个软件包
[root@oak-ubuntu ~]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/
[root@oak-ubuntu ~]# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/
-2. 进?local?，给两个软件更名
[root@oak-ubuntu ~]# cd /usr/local/
[root@oak-ubuntu local]# mv 1.8.0_221/ jdk
[root@oak-ubuntu local]# mv hadoop-2.7.6/ hadoop
-3. 配置环境变量
[hadoop@oak-ubuntu local]# vi /etc/profile
.....省略...........
#java environment
export JAVA_HOME=/usr/local/jdk-1.8.0
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

#hadoop environment
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2.4 伪分布式相关?件配置

1. core-site.xml的配置

[root@oak-ubuntu ~]# cd $HADOOP_HOME/etc/hadoop
[root@oak-ubuntu hadoop]# vi core-site.xml
<configuration>
 <!-- 配置分布式?件系统的schema和ip以及port,默认8020-->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://localhost:8020/</value>
 </property>
</configuration>
 
扩展: hadoop1.x的默认端?是9000，hadoop2.x的默认端?是8020，使?哪?个都可以

2. hdfs-site.xml的配置

[root@oak-ubuntu hadoop]# vi hdfs-site.xml
<configuration>
 <!-- 配置副本数，注意，伪分布模式只能是1。-->
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
</configuration>

3. hadoop-env.sh的配置：指定jdk的环境

[root@oak-ubuntu hadoop]# vi hadoop-env.sh
................
# The java implementation to use.
export JAVA_HOME=/usr/local/jdk-1.8.0
..................

2.5 格式化NameNode

1. 格式化命令

#只需要第一次搭建hdfs的时候执行，以后不能执行。如果执行会将所有数据的数据清除
[root@oak-ubuntu hadoop]# hdfs namenode -format

2.6 启动HDFS

1. 启动伪分布式

[root@oak-ubuntu hadoop]# start-dfs.sh

2. 启动滚动信息

3. jps命令查看守护进程

从上图可以看到，启动脚本会开启分布式?件系统上的相关进程：

namenode

datanode

secondarynamenode

?2.7 WebUI查看

可以在浏览器上输?：192.168.10.101:50070 来查看?下伪分布式集群的信息

--1. 浏览?下??上提示的ClusterID,BlockPoolID

--2. 查看?下活跃节点(Live Nodes)的个数，应该是1个

Compiled:编译 hadoop是由kshvachk?具集成的

Cluster ID:集群id

Block Pool ID:datanode节点的block池的id,每个datanode节点的都要?样

2.8 程序案例演示：wordcount程序

1. 准备要统计的两个?件,存储到/root/data/下

--1. 创建data?录
[root@oak-ubuntu hadoop]# mkdir ~/data
--2. 将以下两个?件上传到data?录下
- poetry1.txt
- poetry2.txt

2. 在hdfs上创建存储?录

[root@oak-ubuntu hadoop]# hdfs dfs -mkdir /input

?3. 将本地?件系统上的上传到hdfs上,并在web上查看?下

[root@oak-ubuntu hadoop]$ hdfs dfs -put ~/data/poetry* /input/

?4. 运??带的单词统计程序wordcount

[root@oak-ubuntu hadoop]# cd $HADOOP_HOME
[root@oak-ubuntu hadoop]# hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount /input /out

5. 查看webui

?6. 查看part-r-00000?件

[root@oak-ubuntu hadoop]# hdfs dfs -cat /out/part-r-00000

3?完全分布式集群搭建

3.1. 完全分布式模式介绍

完全分布式，指的是在真实环境下，使?多台机器，共同配合，来构建?个完整的分布式
?件系统。
在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中，?如：
-1. namenode守护进程尽可能的单独部署在?台硬件性能相对来说?较好的机器中。
-2. 其他的每台机器上都会部署?个datanode守护进程，?般的硬件环境即可。
-3. secondarynamenode守护进程最好不要和namenode在同?台机器上。

?3.2. 平台软件说明

注意：
实际?产环境中，不会使?root?户来搭建和管理hdfs，?是使?普通?户。这?为了?便学习，我们才使?的root?户。
ps：
1.如果你是从伪分布式过来的，最好先把伪分布式的相关守护进程关闭：stop-all.sh
2.删除原来伪分布式的相关设置
如果原来使?的是默认路径,现在已经没有?了
如果原来使?的跟现在全分布式路径?样,因为这?跟之前的初始化的内容不?样,?且
这个?件要让系统?动?成
综上:要删除掉namenode和datanode的?录

3.3. 守护进程布局?

部署hdfs完全分布式的同时搭建?下yarn。hdfs和yarn的相关守护进程的布局如下:

hadoop01: namenode,datanode,ResourceManager,nodemanager
hadoop02: datanode,nodemanager,secondarynamenode
hadoop03: datanode,nodemanager

3.4? 完全分布式搭建环境准备

1. 总纲

-1. 三台机器的防?墙必须是关闭的.
-2. 确保三台机器的?络配置畅通(NAT模式，静态IP，主机名的配置)
-3. 确保/etc/hosts?件配置了ip和hostname的映射关系
-4. 确保配置了三台机器的免密登陆认证（克隆会更加?便）
-5. 确保所有机器时间同步
-6. jdk和hadoop的环境变量配置

?2. 关闭防?墙

[root@hadoop01 ~]# systemctl stop firewalld
[root@hadoop01 ~]# systemctl disable firewalld
[root@hadoop01 ~]# systemctl stop NetworkManager
[root@hadoop01 ~]# systemctl disable NetworkManager
#最好也把selinux关闭掉，这是linux系统的?个安全机制，进??件中将SELINUX设置为disabled
[root@hadoop01 ~]# vi /etc/selinux/config
.........
SELINUX=disabled 
.........

情况说明： 如果安装好三台机器，三台机器的防?墙都需要单独关闭和设置开机不启动。如果准备使?克隆?式，只关闭hadoop01机器即可。下?的配置也是如此。

3. 静态IP和主机名配置

--1. 配置静态IP（确保NAT模式）
[root@hadoop01 ~]# vi /etc/sysconfig/networkscripts/ifcfg-ens33
............
BOOTPROTO=static # 将dhcp改为static
............
ONBOOT=yes # 将no改为yes
IPADDR=192.168.10.101 # 添加IPADDR属性和ip地址
PREFIX=24 # 添加
NETMASK=255.255.255.0或者PREFIX=24 
GATEWAY=192.168.10.2 # 添加?关GATEWAY
DNS1=114.114.114.114 # 添加DNS1和备份DNS
DNS2=8.8.8.8
--2. 重启?络服务
[root@hadoop01 ~]# systemctl restart network
或者
[root@hadoop01 ~]# service network restart
--3. 修改主机名(如果修改过，请略过这?步)
[root@localhost ~]# hostnamectl set-hostname hadoop01
或者
[root@localhost ~]# vi /etc/hostname 
hadoop01

4. 配置/etc/hosts?件

[root@hadoop01 ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4
localhost4.localdomain4
::1 localhost localhost.localdomain localhost6
localhost6.localdomain6
192.168.10.101 hadoop01 #添加本机的静态IP和本机的主机名之间的映射关系
192.168.10.102 hadoop02
192.168.10.103 hadoop03

5. 免密登陆认证

-1. 使?rsa加密技术，?成公钥和私钥。?路回?即可
[root@hadoop01 ~]# cd ~
[root@hadoop01 ~]# ssh-keygen -t rsa 
-2. 进?~/.ssh?录下，使?ssh-copy-id命令
[root@hadoop01 ~]# cd ~/.ssh 
[root@hadoop01 .ssh]# ssh-copy-id root@hadoop01
-3. 进?验证
[hadoop@hadoop01 .ssh]# ssh hadoop01
#下?的第?次执?时输?yes后，不提示输?密码就对了
[hadoop@hadoop01 .ssh]# ssh localhost
[hadoop@hadoop01 .ssh]# ssh 0.0.0.0
注意：三台机器提前安装好的情况下，需要同步公钥?件。如果使?克隆技术。那
么使?同?套密钥对就?便多了。

6. 时间同步

7. 安装Jdk和Hadoop，配置相关环境变量

-1. 上传和解压两个软件包
[root@hadoop01 ~]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C
/usr/local/
[root@hadoop01 ~]# tar -zxvf hadoop-2.7.6.tar.gz -C
/usr/local/
-2. 进?local?，给两个软件更名
[root@hadoop01 ~]# cd /usr/local/
[root@hadoop01 local]# mv 1.8.0_221/ jdk
[root@hadoop01 local]# mv hadoop-2.7.6/ hadoop
-3. 配置环境变量
[hadoop@hadoop01 local]# vi /etc/profile
.....省略...........
#java environment
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
#hadoop environment
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3.5 Hadoop的配置?件

1. 在完全分布式集群的配置中，需要配置的是4个配置?件

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

?2. 这?个配置?件有默认的配置，命名为default

core-default.xml
hdfs-default.xml
mapred-default.xml
yarn-default.xml

?3. 我们可以将默认的配置?件找出来，看看默认的配置

[root@hadoop01 share]# cd /usr/local/hadoop/share
[root@hadoop01 share]# find -name "*-default.xml" -exec cp {} ~/defaultXml \;

4. 属性的优先级

代码中配置的属性 > *-site.xml > *-default.xml

3.6 完全分布式配置

1. 配置core-site.xml

[root@hadoop01 ~]# cd $HADOOP_HOME/etc/hadoop/
[root@hadoop01 hadoop]# vi core-site.xml
<configuration>
 <!-- hdfs的地址名称：schame,ip,port-->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop01:8020</value>
 </property>
 <!-- hdfs的基础路径，被其他属性所依赖的?个基础路径 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

2. 配置hdfs-site.xml

[root@hadoop01 hadoop]# vi hdfs-site.xml
<configuration>
 <!-- namenode守护进程管理的元数据?件fsimage存储的位置-->
 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file://${hadoop.tmp.dir}/dfs/name</value>
 </property>
 <!-- 确定DFS数据节点应该将其块存储在本地?件系统的何处-->
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file://${hadoop.tmp.dir}/dfs/data</value>
 </property>
 <!-- 块的副本数-->
 <property>
 <name>dfs.replication</name>
 <value>3</value>
 </property>
 <!-- 块的??(128M),下?的单位是字节-->
 <property>
 <name>dfs.blocksize</name>
 <value>134217728</value>
 </property>
 <!-- secondarynamenode守护进程的http地址：主机名和端?号。参考
守护进程布局-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop02:50090</value>
 </property>
 <!-- namenode守护进程的http地址：主机名和端?号。参考守护进程布
局-->
 <property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop01:50070</value>
 </property> 
</configuration>

3. 配置mapred-site.xml

[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@hadoop01 hadoop]# vi mapred-site.xml
<configuration>
 <!-- 指定mapreduce使?yarn资源管理器-->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 <!-- 配置作业历史服务器的地址-->
 <property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop01:10020</value>
 </property>
 <!-- 配置作业历史服务器的http地址-->
 <property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop01:19888</value>
 </property>
</configuration>

4. 配置yarn-site.xml

[root@hadoop01 hadoop]# vi yarn-site.xml
<configuration>
 <!-- 指定yarn的shuffle技术-->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定resourcemanager的主机名-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop01</value>
</property>
 <!--下?的可选-->
 <!--指定shuffle对应的类 -->
 <property>
 <name>yarn.nodemanager.auxservices.mapreduce_shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <!--配置resourcemanager的内部通讯地址-->
 <property>
 <name>yarn.resourcemanager.address</name>
 <value>hadoop01:8032</value>
 </property>
 <!--配置resourcemanager的scheduler的内部通讯地址-->
 <property>
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>hadoop01:8030</value>
 </property>
 <!--配置resoucemanager的资源调度的内部通讯地址-->
 <property>
 <name>yarn.resourcemanager.resourcetracker.address</name>
 <value>hadoop01:8031</value>
 </property>
 <!--配置resourcemanager的管理员的内部通讯地址-->
 <property>
 <name>yarn.resourcemanager.admin.address</name>
 <value>hadoop01:8033</value>
 </property>
 <!--配置resourcemanager的web ui 的监控??-->
 <property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>hadoop01:8088</value>
 </property>
</configuration>

5. 配置hadoop-env.sh

[root@hadoop01 hadoop]# vi hadoop-env.sh
.........
# The java implementation to use.
export JAVA_HOME=/usr/local/jdk-1.8.0
.........

6. 配置slaves?件

# 此?件?于指定datanode守护进程所在的机器节点主机名
[root@hadoop01 hadoop]# vi slaves
hadoop01
hadoop02
hadoop03

7. 配置yarn-env.sh?件

# 此?件可以不配置，不过，最好还是修改?下yarn的jdk环境?较好
[root@hadoop01 hadoop]# vi yarn-env.sh
.........
# some Java parameters
export JAVA_HOME=/usr/local/jdk-1.8.0
if [ "$JAVA_HOME" != "" ]; then
 #echo "run java in $JAVA_HOME"
 JAVA_HOME=$JAVA_HOME
fi
.........

3.7? 另外两台机器配置说明

两种?式可选择配置另外几台机器的hadoop：

?式?: “scp”进?同步

提示：本?法适?于多台虚拟机已经提前搭建出来的场景。
--1. 同步hadoop到slave节点上
[root@hadoop01 ~]# cd /usr/local
[root@hadoop01 local]# scp -r ./hadoop hadoop02:/usr/local/
[root@hadoop01 local]# scp -r ./hadoop hadoop03:/usr/local/
--2. 同步/etc/profile到slave节点上
[root@hadoop01 local]# scp /etc/profile hadoop02:/etc/
[root@hadoop01 local]# scp /etc/profile hadoop03:/etc/
--3. 如果slave节点上的jdk也没有安装，别忘记同步jdk。
--4. 检查是否同步了/etc/hosts?件

?式?: 克隆hadoop01虚拟机

提示：本?法适?于还没有安装slave虚拟机的场景。通过克隆hadoop01节点的?
式，来克隆?个hadoop02和hadoop03机器节点，这种?式就不?重复安装环境
和配置?件了，效率?常?，节省了?部分时间(免密认证的秘钥对都是相同的?套)。
--1. 打开?个新克隆出来的虚拟机，修改主机名
[root@hadoop01 ~]# hostnamectl set-hostname hadoop02
--2. 修改ip地址
[root@hadoop01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
.........省略.........
IPADDR=192.168.10.102 <==修改为hadoop02对应的ip地
址
.........省略........
--3. 重启?络服务
[root@hadoop01 ~]# systemctl restart network
--4. 其他新克隆的虚拟机重复以上1~3步
--5. 免密登陆的验证
 从hadoop01机器上，连接其他的每?个节点，验证免密是否好使，同时去掉第
?次的询问步骤
--6. 建议：每台机器在重启?络服务后，最好reboot?下。

3.8 格式化NameNode

1. 注意事项

格式化完成NameNode后，会在core-site.xml中的配置hadoop.tmp.dir的路 径下?成集群相关的?件。如果之前在伪分布式的时候已经格式化完成，并且这个路 径已经?成了，需要先将这个?录?动删除掉，然后再格式化集群，否则会导致集群 启动失败，NameNode和DataNode?法建?连接。

?2. 在hadoop01机器上运?命令

[root@hadoop01 ~]# hdfs namenode -format

3. 格式化的相关信息解读

--1. ?成?个集群唯?标识符:clusterid
--2. ?成?个块池唯?标识符:blockPoolId
--3. ?成namenode进程管理内容(fsimage)的存储路径：
?默认配置?件属性hadoop.tmp.dir指定的路径下?成dfs/name?录
--4. ?成镜像?件fsimage，记录分布式?件系统根路径的元数据
--5. 其他信息都可以查看?下，?如块的副本数，集群的fsOwner等。

3.9 启动集群?

1. 启动脚本和关闭脚本介绍

1. 启动脚本
?-- start-dfs.sh :?于启动hdfs集群的脚本
?-- start-yarn.sh :?于启动yarn守护进程
?-- start-all.sh :?于启动hdfs和yarn
2. 关闭脚本
?-- stop-dfs.sh :?于关闭hdfs集群的脚本
?-- stop-yarn.sh :?于关闭yarn守护进程
-- stop-all.sh :?于关闭hdfs和yarn
3. 单个守护进程脚本
?-- hadoop-daemons.sh :?于单独启动或关闭hdfs的某?个守护进
程的脚本
?-- hadoop-daemon.sh :?于单独启动或关闭hdfs的某?个守护进
程的脚本
?reg:
?hadoop-daemon.sh [start|stop]
[namenode|datanode|secondarynamenode]
?
?-- yarn-daemons.sh :?于单独启动或关闭hdfs的某?个守护进程的
脚本
?-- yarn-daemon.sh :?于单独启动或关闭hdfs的某?个守护进
程的脚本
?reg:
?yarn-daemon.sh [start|stop]
[resourcemanager|nodemanager]

?2. 启动hdfs

1. 使?start-dfs.sh，启动 hdfs

2. 启动过程解析

- 启动集群中的各个机器节点上的分布式?件系统的守护进程
??个namenode和resourcemanager以及secondarynamenode
?多个datanode和nodemanager
- 在namenode守护进程管理内容的?录下?成edit?志?件
- 在每个datanode所在节点下?成${hadoop.tmp.dir}/dfs/data?录,

?3. jps查看进程

--1. 在hadoop01上运?jps指令，会有如下进程
?namenode
?datanode
--2. 在hadoop02上运?jps指令，会有如下进程
?secondarynamenode
?datanode
--3. 在hadoop03上运?jps指令，会有如下进程
?datanode

注意：

?如果哪台机器的相关守护进程没有开启，那么，就查看哪台机器上的守护进程对应的?志log?件,注意，启动脚本运?时提醒的?志后缀是*.out，?我们 查看的是*.log?件。此?件的位置：${HADOOP_HOME}/logs/?。

4. WebUI查看

http://192.168.10.101:50070/

?3. 启动yarn

1. 使?start-yarn.sh脚本

2. jps查看

--1. 在hadoop01上运?jps指令，会多出有如下进程
?resoucemanager
?nodemanager
--2. 在hadoop02上运?jps指令，会多出有如下进程
?nodemanager
--3. 在hadoop03上运?jps指令，会多出有如下进程
?nodemanager

3. webui查看

?http://192.168.10.101:8088/

?3.10? 集群守护进程不能开启的情况

1. 格式化集群时，报错原因
?- 当前?户使?不当
?- /etc/hosts?的映射关系填写错误
?- 免密登录认证异常
?- jdk环境变量配置错误
?- 防?墙没有关闭
2. namenode进程没有启动的原因：
?- 当前?户使?不当
?- 重新格式化时，忘记删除${hadoop.tmp.dir}?录下的内容
?- ?络震荡，造成edit?志?件的事务ID序号不连续
3. datanode出现问题的原因
?- /etc/hosts?的映射关系填写错误
?- 免密登录异常
?- 重新格式化时，忘记删除${hadoop.tmp.dir}?录下的内容，造成
datanode的唯?标识符不在新集群中。
4. 上述问题暴?解决办法：重新格式化
?如果想重新格式化，那么需要先删除每台机器上的${hadoop.tmp.dir}指定路
径下的所有内容，然后再格式化：最好也把logs?录下的内容也清空，因为?志内容已
经是前?个废弃集群的?志信息了，留着也??。