在运行 Hadoop 作业时,遇到“No such file or directory”,如何在windows里打包在虚拟机里运行
最近在学习Hadoop集群map reduce分布运算过程中,经多方面排查可能是电脑本身配置的原因导致每次运行都会报“No such file or directory”的错误,最后我是通过打包文件到虚拟机里运行得到结果,具体步骤如下:
前提是要保证maven已经配置好了
下面就是如何打包文件的具体步骤:
- 在 Eclipse 中右键点击要打包的文件包,选择 “导出(Export)”。
2.选择导出类型:在弹出的窗口中,选择 “JAR 文件(JAR file)”,点击 “下一步(Next)”。
3. 在“JAR 导出” 界面,确认勾选 “导出生成的类文件和资源(Export generated class files and resources)”,设置 “JAR 文件(JAR file)” 路径(如 E:\test_maven.jar),点击 “完成(Finish)”,生成 JAR 包。
4.使用工具(如 Xftp)将生成的 JAR 包上传到集群节点(如 node01
的 /home/hadoop
目录)。
5.在集群终端(如 node01
)输入命令:
hadoop jar <JAR 包路径> <主类全限定名>
例如:hadoop jar test_maven.jar com.test.hadoop.mr.log.model.WordCountJob
,集群会运行 JAR 包中的 MapReduce 作业,输出相关统计信息(如日志中的计数器数据、Map/Reduce 阶段的记录数等)。
可以得到运行结果: