当前位置: 首页 > news >正文

在运行 Hadoop 作业时,遇到“No such file or directory”,如何在windows里打包在虚拟机里运行

        最近在学习Hadoop集群map reduce分布运算过程中,经多方面排查可能是电脑本身配置的原因导致每次运行都会报“No such file or directory”的错误,最后我是通过打包文件到虚拟机里运行得到结果,具体步骤如下:

        前提是要保证maven已经配置好了

下面就是如何打包文件的具体步骤:

  1. 在 Eclipse 中右键点击要打包的文件包,选择 “导出(Export)”

 

2.选择导出类型:在弹出的窗口中,选择 “JAR 文件(JAR file)”,点击 “下一步(Next)”

3. 在“JAR 导出” 界面,确认勾选 “导出生成的类文件和资源(Export generated class files and resources)”,设置 “JAR 文件(JAR file)” 路径(如 E:\test_maven.jar),点击 “完成(Finish)”,生成 JAR 包。

4.使用工具(如 Xftp)将生成的 JAR 包上传到集群节点(如 node01 的 /home/hadoop 目录)。

5.在集群终端(如 node01)输入命令:

hadoop jar <JAR 包路径> <主类全限定名>

例如:hadoop jar test_maven.jar com.test.hadoop.mr.log.model.WordCountJob,集群会运行 JAR 包中的 MapReduce 作业,输出相关统计信息(如日志中的计数器数据、Map/Reduce 阶段的记录数等)。

可以得到运行结果:

 

相关文章:

  • 计算机网络 - stp生成树实验
  • 【现代深度学习技术】现代循环神经网络03:深度循环神经网络
  • MCP 探索:微软 Microsoft MarkItDown MCP ,可把 Word、Excel 等转换成 MarkDown 格式
  • sys目录介绍
  • 基于YOLOV5的目标检测识别
  • 多模态人工智能研究:视觉语言模型的过去、现在与未来
  • 【Git】万字详解 Git 的原理与使用(上)
  • 第 13 届蓝桥杯 C++ 青少组省赛中 / 高级组 2022 年真题
  • 【东枫电子】AMD / Xilinx Alveo™ UL3422 加速器
  • 【愚公系列】《Manus极简入门》012-自我认知顾问:“内在探索向导”
  • Golang 身份证号码校验
  • 【优选算法 | 位运算】位运算基础:深入理解二进制操作
  • ASP.NET MVC​ 入门与提高指南七
  • < 自用文 Texas style Smoker > 美式德克萨斯烟熏炉 从设计到实现 (第一部分:烹饪室与燃烧室)
  • 基于Redis实现-UV统计
  • openEuler 22.03 安装 Mysql 5.7,RPM 在线安装
  • 解决 3D Gaussian Splatting 中 SIBR 可视化组件报错 uv_mesh.vert 缺失问题【2025最新版!】
  • 组件通信-v-model
  • [Control-Chaos] Toxic Cascade(毒性級鏈)
  • 青少年编程与数学 02-018 C++数据结构与算法 22课题、并行算法
  • 结束北京队与总决赛十年之痒的,为何会是一度被群嘲的许利民
  • 美国鞋类巨头请求白宫豁免关税,称已构成“生存威胁”
  • 五一假期天气将大转变,南方新一轮降雨来袭
  • 韩代总统李周浩履职
  • AI把野史当信史?警惕公共认知的滑坡
  • 全国人大常委会关于授权国务院在中国(新疆)自由贸易试验区暂时调整适用《中华人民共和国种子法》有关规定的决定