[大数据]HDFS（Hadoop Distributed File System ）概述

目录

一、HDFS概述

二、HDFS特点

三、HDFS集群组成：主从架构---一个主节点，多个从节点

1. NameNode（名称节点 / 主节点）-----?HDFS集群的管理者

2. DataNode （数据节点 / 从节点）

3. SecondaryNameNode （第二名称节点）

四、HDFS传输文件方式

五、HDFS常用命令

六、如何实现启动HDFS和yarn的时候不输入密码

一、HDFS概述

Hadoop 分布式文件系统，用于存储文件，与Windows不同的是他是一个分布式的，由很多服务器联合起来实现其功能。

二、HDFS特点

1. 一次写入，多次读取，写入后只允许删除或查看，不支持文件修改。
2. HDFS文件读取或写入都比较慢，不适合做实时性或者低延时的操作

Notes：适合用来做数据分析，不适合做网盘应用。

三、HDFS集群组成：主从架构---一个主节点，多个从节点

1. NameNode（名称节点 / 主节点）-----?HDFS集群的管理者

1. 管理文件存储的元数据
   • 元数据包括了文件的信息、大小。文件的上传时间、作者、文件在那个DataNode上存储
   • 元数据中还包含了 文件义工分成了几个板块，每个板块在那个DataNode上存储着
   • 但是 NameNode 只存储这些信息，文件中真正的内容 NameNode 不存储，主要由 DataNode 存储
2. NameNode 也管理文件的上传和下载操作，作为客户端的请求响应

2. DataNode （数据节点 / 从节点）

????????HDFS 存储的文件 最终是有DataNode节点存储的

????????文件存储的时候，DataNode并不是把文件直接存储的，而是将文件按照文件大小划分为有一个的block块，文件都是以block块去在DataNode上存储的

????????Hadoop 1.x 默认是64M

????????Hadoop 2.x 默认是128M

????????block块大小默认是128M，但是可以更改，在hdfs-site.xml中配置一个配置项 dfs.blocksize 即可（注意单位是B字节）

????????Notes：HDFS默认有一个备份机制，存储一个文件的时候，划分成不同的 block 块，每一个 block 块都会备份，默认HDFS备份三份，可以通过修改 hdfs-site.xml 中配置一个配置项 dfs.replication 即可

3. SecondaryNameNode （第二名称节点）

????????是NameNode的小助手，帮助 NameNode 去合并日志文件和镜像文件。但是注意 SecondaryNameNode 虽然叫第二名称节点，但它永远是第二，永远代替不了 NameNode。而且在一般情况下，NameNode 和 SecondaryNameNode 在分布式环境下不在一台节点下NameNode 和 SecondaryNameNode、DataNode 都是需要内存运行的

四、HDFS传输文件方式

HDFS是一个分布式文件存储系统，那么必须可以上传文件和下载文件

不管是通过命令去操作，还是 Java API操作，都必须把 HDFS集群启动起来

通过 HDFS 命令的方式上传和下载

语法：

hdfs 操作符 文件相关信息

Notes：HDFS是一个分布式文件存储系统，文件系统路径也是从 / 这个根路径开始，只不过 / 根路径默认是没有任何文件的

案例：

# 查看这个路径下有哪些文件和文件夹
hdfs dfs -ls / hdfs 上的文件夹路径???????????

#? 创建某个文件夹，如果这个文件夹有父目录，父目录不存在，则会报错
hdfs dfs -mkdir 文件名???????????????????????????????

# 若要在空目录下创建目录，需要加 -p 选项
hdfs dfs -mkdir -p 文件名?

# 将Linux本地的文件上传到HDFS指定目录下
hdfs dfs -put linux本地文件路径 /上传文件路径

# 将HDFS上的一个文件下载到Linux本地
hdfs dfs -get /HDFS上的要下载的路径 Linux本地的路径

?

五、HDFS常用命令

• -help：输出这个命令参数? ?

bin/hdfs dfs -help rm

• -ls: 显示目录信息

hadoop fs -ls /

• -mkdir：在hdfs上创建目录

# -p参数代表递归创建
hadoop fs? -mkdir? -p? /aaa/bbb/cc/dd

• -moveFromLocal从本地剪切粘贴到hdfs

hadoop? fs? - moveFromLocal? /home/hadoop/a.txt? /aaa/bbb/cc/dd?

• -moveToLocal：从hdfs剪切粘贴到本地（尚未实现)

[uek@node2 hadoop-2.8.5]$ hadoop fs -help moveToLocal
-moveToLocal <src> <localdst> :
Not implemented yet?

• --appendToFile ：追加一个文件到已经存在的文件末尾

hadoop? fs? -appendToFile? ./hello.txt? /hello.txt?

• -cat ：显示文件内容

hadoop fs -cat /aaa/bbb/cc/dd/test.txt?

• -tail：显示一个文件的末尾

hadoop? fs? -tail? /weblog/access_log.1?

• -chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

hadoop? fs? -chmod? 666? /hello.txt
hadoop? fs? -chown? someuser:somegrp?? /hello.txt

• -copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去：

```sh
hadoop? fs? -copyFromLocal? ./jdk.tar.gz? /aaa/

• -copyToLocal：从hdfs拷贝到本地

hadoop fs -copyToLocal /user/hello.txt ./hello.txt

• -cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

hadoop? fs? -cp? /aaa/jdk.tar.gz? /bbb/jdk.tar.gz.2

• -mv：在hdfs目录中移动文件

hadoop? fs? -mv? /aaa/jdk.tar.gz? /

• -get：等同于copyToLocal，就是从hdfs下载文件到本地

hadoop fs -get /user/hello.txt ./

• -getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…

hadoop fs -getmerge /aaa/log.* ./log.sum

• -put：等同于copyFromLocal

hadoop? fs? -put? /aaa/jdk.tar.gz? /bbb/jdk.tar.gz.2??????????????

• -rm：删除文件或文件夹

??????????????hadoop fs -rm -r /aaa/bbb/

• -rmdir：删除空目录

??????????????hadoop? fs? -rmdir?? /aaa/bbb/ccc

• -df ：统计文件系统的可用空间信息

??????????????hadoop? fs? -df? -h? /

• -du：统计文件夹的大小信息

?????????????[uek@node2 hadoop-2.8.5]$ hadoop fs -du -s -h /user/uek/wcinput
188.5 M? /user/uek/wcinput
[uek@node2 hadoop-2.8.5]$ hadoop fs -du? -h /user/uek/wcinput
188.5 M? /user/uek/wcinput/hadoop-2.8.5.tar.gz
97?????? /user/uek/wcinput/wc.input

• -count：统计一个指定目录下的文件节点数量

??????????????hadoop fs -count /aaa/
[uek@node2 hadoop-2.8.5]$ hadoop fs -count /user/uek/wcinput
???? 1? ? ? ?2????????? 197657784 /user/uek/wcinput
嵌套文件层级；? 包含文件的总数

• -setrep：设置hdfs中文件的副本数量

hadoop fs -setrep 3 /aaa/jdk.tar.gz

# 这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。?

?

六、如何实现启动HDFS和yarn的时候不输入密码

? ? ? ?解决方式就是让电脑知道自己的登录密码或者是别的电脑的登录密码? 这样的花启动的时候就不需要输入密码；

? 配置ssh免密钥登录----配置不使用密码可以登录??

??核心思想：就是在当前用户的家目录的.ssh目录下生成一个公钥和私钥

??然后讲公钥传给别人? 那么别人再去登录你的时候就可以不用输入密码了

?? 1、生成密钥

?????? 必须在~/.ssh这个目录下执行命令? ssh-keygen -t rsa

?? 2、怎么把密码给别人

??????? ssh-copy-id 你要给的主机ip