HDFS的shell命令

Hadoop的启停命令

1. 单独控制所在机器的进程启停
   

stop是可选参数，secondarynamenode是你想操作的对象。
hdfs --daemon stop secondarynamenode
hdfs --daemon start secondarynamenode
如图所示

2. hdfs 简单的文件系统操作
以 / 为根目录。
如何区分Linux文件和hdfs的文件呢协议头

但是协议头太麻烦了，所以我们一般不写，麻烦死了。
所以在我们的系统中，他需要啥他就自己给你识别啥的协议头
3. 在hdfs中创建新文件夹
老版本 hadoop fs -mkdir -p 路径
新版本 hdfs dfs -mkdir -p 路径
查看指定目录下的指令
hadoop fs -ls 路径
hdfs dfs -ls 路径

上传文件到hdfs指定目录下
Hadoop fs -put linux的xx的文件 hadf的路径

在Linux下的home路径下可以创建一个名为text的文件然后我们尝试把他传到 hdfs上
指令如下

不写协议头他也能执行
hdfs dfs -put file:///home/hadoop/text.txt hdfs://node1:8020/
然后执行下面的指令查看我们刚上传的text是不是传上去了
hadoop fs -ls /
如下图所示

从hdfs中下载文件

将 HDFS 目录下载到本地：
hdfs dfs -get /user/hadoop/mydir /home/hadoop/mydir

查看hdfs中的文件

指令hdfs dfs -cat 文件的路径
如下图所示

在我们想要查看系统中的文件信息时候，很多时候他这个显示过于简单，也没有单位啊啥的，我们无法很清楚的认识到文件的大小，我们可以在执行指令的时候加上-h 这样的话我们路径下的文件就可以更加人性化的显示了。 具体指令如下hadoop fs -ls -h / 这里的/ 指的是我们hdfs上的根目录。

复制移动删除 hdfs中文件

你想想这个源文件和复制的文件的路径应该是啥样的

文件的修改（只能删除或者追加）文件的追加
指令hadoop fs -appendToFile 想要加的那部分的文件路径 被追加的那个文件的路径
源文件路径：如果不加前缀，默认是本地文件系统路径（即 file://）。
目标文件路径：必须是 HDFS 路径，默认是 HDFS 上的路径（即以 / 开头的路径，或者明确指定 hdfs://）。

移动/重命名 mv

注意hdfs dfs -mv 和 hadoop fs -mv 命令中的源路径 () 和目标路径 () 都必须是 HDFS 上的路径。

hdfs 删除文件

指令如下
hadoop fs - rm 删除文件的路径
删除文件夹要带上选项 -r
递归删除：使用 -r 参数删除目录时，会删除目录下的所有内容，包括子目录和文件。

hadoop fs -rm -r [-skipTrash] URI [URI ...]
hdfs dfs -rm -r [-skipTrash] URI [URI ...]
   删除指定路径的文件或文件夹
  -skipTrash这个选项是   跳过回收站，直接删除，默认情况下我们的回收站是关着呢。
  

还有简单的方法来对hdfs文件进行操作

登录我们的web
node：9870


在这里就可以看到我们hdfs的文件了
但是为了保障我们的这个系统的安全一般这个网站上除了查看没有什么其他的权限，我们可以在这可视化看一下哈哈哈。

练习题

1. 在 HDFS 中创建文件夹：
   /itcast/itheima

   • 如果该文件夹已存在，则删除（跳过回收站）。

2. 上传文件到 HDFS：
   将 /etc/hosts 文件上传到 HDFS 路径 /itcast/itheima 内。

3. 查看文件内容：
   查看 HDFS 中刚刚上传的文件内容。

4. 向文件追加内容：
   向上传到 HDFS 的文件中追加 itheima 字符串到最后一行。

5. 下载文件到本地：
   将 HDFS 中上传的文件下载到本地的任意目录。

6. 创建新文件夹并复制文件：
   在 HDFS 中创建文件夹 /itcast/bigdata，然后将 /itcast/itheima/hosts 文件复制到 /itcast/bigdata 内。

7. 重命名文件：
   将 /itcast/itheima/hosts 文件重命名为 /itcast/itheima/myhost。

8. 删除文件夹：
   删除 /itcast 文件夹及其内容。

对应的命令操作

1. 创建文件夹并删除：

   hdfs dfs -rm -r /itcast/itheima  # 删除文件夹（如果已存在）
   hdfs dfs -mkdir -p /itcast/itheima  # 创建新文件夹
   

2. 上传文件：

   hdfs dfs -put /etc/hosts /itcast/itheima/hosts  # 上传文件
   

3. 查看文件内容：

   hdfs dfs -cat /itcast/itheima/hosts  # 查看文件内容
   

4. 追加内容：

   echo "itheima" | hdfs dfs -appendToFile - /itcast/itheima/hosts  # 追加内容
   

5. 下载文件到本地：

   hdfs dfs -get /itcast/itheima/hosts /path/to/local/directory  # 下载文件
   

6. 创建文件夹并复制文件：

   hdfs dfs -mkdir -p /itcast/bigdata  # 创建文件夹
   hdfs dfs -cp /itcast/itheima/hosts /itcast/bigdata/  # 复制文件
   

7. 重命名文件：

   hdfs dfs -mv /itcast/itheima/hosts /itcast/itheima/myhost  # 重命名文件
   

8. 删除文件夹：

   hdfs dfs -rm -r /itcast  # 删除文件夹及其内容