查看HDFS集群状态
在浏览器里访问http://master:9870 ![在这里插入图片描述](https://img-blog.csdnimg.cn/089c6f1870d54e97af590b7e77f5ea8c.png) 不能通过主机名master加端口9870的方式,原因在于没有在hosts文件里IP与主机名的映射,现在只能通过IP地址加端口号的方式访问:http://192.168.1.101:9870
![在这里插入图片描述](https://img-blog.csdnimg.cn/dbf42e8d2b864875809076daa0bf5e61.png) 修改宿主机的C:\Windows\System32\drivers\etc\hosts文件,增加hadoop集群主机名与IP地址的映射 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e04d3e009bca4db8b42fa110e22e5faf.png) 此时,访问http://master:9870,从图中可以看出HDFS集群状态显示正常 ![在这里插入图片描述](https://img-blog.csdnimg.cn/6dd7aa6e647f4d82a93745b1a899a27d.png) 单击导航条上的【Datanodes】,查看数据节点信息
![在这里插入图片描述](https://img-blog.csdnimg.cn/ab90086a11a643e98b6d8abdb47f54c2.png) 点开【Utilities - 实用工具】下拉菜单,选择【Browse the file system - 浏览文件系统】 ![在这里插入图片描述](https://img-blog.csdnimg.cn/3aa3667627d24c0899a89e9fcb28fdc7.png) 此时HDFS上什么东东都木有 ![在这里插入图片描述](https://img-blog.csdnimg.cn/5af6ab0af8f6433d9d79e7f07ef6ffc5.png) 在HDFS上创建一个目录BigData,既可以在WebUI上创建,也可以通过shell命令创建
执行命令:hdfs dfs -mkdir /BigData
![在这里插入图片描述](https://img-blog.csdnimg.cn/3bd28cdbfa9a4193b4773df0d95c9701.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/32219bcb82e94f94bc14c9a81fe56b7a.png) 查看四个功能按钮 ![在这里插入图片描述](https://img-blog.csdnimg.cn/57a219058a654c9ca2d24bd388aa044e.png)
查看YARN集群状态
访问http://master:8088/cluster ,从图中可以看出YARN集群状态显示正常 ![在这里插入图片描述](https://img-blog.csdnimg.cn/d784fffd4bc149c5a3cccc9ed005d9a5.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/1171130c98fc4d3e99073322371a7571.png)
Hadoop集群初体验 —— 词频统计
启动Hadoop集群
在master虚拟机上执行命令:start-all.sh ![在这里插入图片描述](https://img-blog.csdnimg.cn/318d9e4121424bc1a14cdc35c9d0e7c5.png)
在虚拟机上准备文件
在master虚拟机上创建test.txt文件 ![在这里插入图片描述](https://img-blog.csdnimg.cn/8d4e3be1b9024b37908bbe13679430b2.png)
文件上传到HDFS指定目录
上传test.txt文件到HDFS的/BigData目录(如果没有就创建目录) ![在这里插入图片描述](https://img-blog.csdnimg.cn/a63dcbcd6d214e6f9d2fc8502839fd13.png) 利用HDFS命令查看文件是否上传成功 ![在这里插入图片描述](https://img-blog.csdnimg.cn/97658327bb4344c38f3c30b7e1d42420.png) 利用Hadoop WebUI查看文件是否上传成功 ![在这里插入图片描述](https://img-blog.csdnimg.cn/8c067f561c794474b4fc26bdfbf3fe6a.png)
运行词频统计程序的jar包
查看Hadoop自带示例的jar包 ![在这里插入图片描述](https://img-blog.csdnimg.cn/8b113504cd18407a80722df78ab3d833.png) 执行命令:hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result 查看输出目录/wc_result,执行命令:hdfs dfs -ls /wc_result ![在这里插入图片描述](https://img-blog.csdnimg.cn/8f7b2320a6e64d368aeb3dfe4795a3aa.png) 查看词频统计结果,执行命令:hdfs dfs -cat /wc_result/* ![在这里插入图片描述](https://img-blog.csdnimg.cn/45811f698c4f4eb9967e5de59ce444ad.png) 再次运行程序,会报错:输出目录已存在
![在这里插入图片描述](https://img-blog.csdnimg.cn/96e4500bcc974ad4baa5d8fefa328ff1.png)
|