Spark，上传文件

上传文件

1.上传

先使用命令打开HDFS的NameNode

[root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh

[root@hadoop100 hadoop-3.1.3]$ sbin/stop-dfs.sh

和YARN的Job

[root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh

[root@hadoop101 hadoop-3.1.3]$ sbin/stop-yarn.sh

在NameNode上上传<128M文件时可直接上传当文件>128M时会将这个大文件拆分为多个小文件上传

随机创建一个小文件在NameNode上上传操作如下：

在FinalShell上用命令上传文件就是

上传小文件（小于128M）

[root@hadoop100 ~]$ hadoop fs -mkdir /input

[root@hadoop100 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

上传大文件（大于128M）

[root@hadoop100 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

上传的文件下载下来…可直接在页面上下载

2.在yarn上查看上传的文件

[root@hadoop101 ~]$ cd /opt/modele/hadoop-3.1.3

[root@hadoop101 ~]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /output

刷新yarn即可查看