当前位置: 首页 > wzjs >正文

从美国回国做钻石网站创始人守游网络推广平台登陆

从美国回国做钻石网站创始人,守游网络推广平台登陆,东莞最大的保安公司,上海市建设工程检测培训中心(一)maven打包 MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序(例如:jar…

maven打包

MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序(例如:jar包),并发运行在一个Hadoop集群上。

在pom.xml中,补充如下配置,它用来设置打包的java 版本。

<properties>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>

 打包成功之后的效果如下:

 

设置编译版本

我们集群上安装的java环境是1.8的,那么我们生成的代码也必须是这个版本的,否则,就会无法运行。

 

修改代码,设置执行环境和文件路径

我们集群上安装的java环境是1.8的,那么我们生成的代码也必须是这个版本的,否则,就会无法运行。

打开代码,找到driver类,并修改如下:

conf.set("fs.defaultFS", "hdfs://hadoop100:8020"); // 新增加一句

FileInputFormat.setInputPaths(job, new Path("/wcinput")); // 修改
FileOutputFormat.setOutputPath(job, new Path("/output1"));

 

确保集群中有/wcinput目录,并且下面有记事本文件中的单词。

确保集群中没有output1这个目录,因为它应该是要被动态创建出来的。

(四)上传到节点运行

使用finalshell上到任意节点,例如hadoop100上的/opt下,。

然后通过命令来执行执行WordCount程序,注意要写Driver类的全名

$ hadoop jar  /opt/wc.jarcom.root.mapreduce.wordcount.WordCountDriver

 运行结束之后,在ui中查看yarn运行效果。

修改执行参数

在上面的代码中,我们的程序只能完成固定目录下的功能。现在希望它能处理不同的目录。

修改代码,让程序能指定要执行的输入目录和要保存结果的输出目录。

修改driver类的代码,更新输入和输入路径。

// 6. 设置输入和输出路径
        路径为程序的第一个参数,第二个参数
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

 这里的args[0]和args[1]是程序运行时的两个参数。

改完代码之后,要重新打包,并上传到某台节点上运行。

http://www.dtcms.com/wzjs/38305.html

相关文章:

  • 上海外贸网站建设seo提升排名
  • 做淘宝网站用什么软件有哪些推广排名seo
  • 做移动网站快速排名公司网站推广怎么做
  • 淄博网站建设公司今天重大新闻国内最新消息
  • 旅游行业做网站2022年大事热点新闻
  • 怎么在本机做网站公司网站营销
  • 重庆市城乡建设委员会网站百度网盘app下载安装官方免费下载
  • 做资源下载网站用什么工具网络营销
  • 做毕设靠谱的网站竞价账户托管哪家好
  • 网站结构优化的内容和方法宣传产品的方式
  • 如何制作自己的网站链接教程沈阳seo优化
  • 平台搭建心得网站seo优化教程
  • 网站建设需要投资多少网站平台怎么推广
  • 重庆 网站备案百度指数功能有哪些
  • 中国服务外包网优化设计官方电子版
  • 青岛做网站的公司哪个好谷歌推广平台
  • asp.net网站的验证码怎么使用查看今日头条
  • vps 同时做ssh和做网站网站建站
  • 免费建网站服务最好的公司重庆seo排名公司
  • 惠州建网站公司站内优化怎么做
  • 网站开发学习培训不用流量的地图导航软件
  • 尼乐清网站建设百度seo关键词优化软件
  • 网站建设发生的成本如何记账网站快速收录教程
  • 安全协议书 网站开发公司企业网站注册域名的步骤
  • 东莞专业做网站网络推广专员是干什么的
  • 门户网站栏目维护建设方案西安百度seo推广电话
  • 做外包网站搭建一元友情链接平台
  • 网站开发项目运营经理岗位职责网络服务合同纠纷
  • wordpress前台投稿 djdseo排名优化方式
  • 网站有做货东莞seo建站咨询