当前位置: 首页 > news >正文

影视网站的设计与实现网络服务提供者不履行法律行政法规规定的

影视网站的设计与实现,网络服务提供者不履行法律行政法规规定的,中国电子工程网,wordpress 调用所有分类(一)maven打包 MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序(例如:jar…

maven打包

MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序(例如:jar包),并发运行在一个Hadoop集群上。

在pom.xml中,补充如下配置,它用来设置打包的java 版本。

<properties>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>

 打包成功之后的效果如下:

 

设置编译版本

我们集群上安装的java环境是1.8的,那么我们生成的代码也必须是这个版本的,否则,就会无法运行。

 

修改代码,设置执行环境和文件路径

我们集群上安装的java环境是1.8的,那么我们生成的代码也必须是这个版本的,否则,就会无法运行。

打开代码,找到driver类,并修改如下:

conf.set("fs.defaultFS", "hdfs://hadoop100:8020"); // 新增加一句

FileInputFormat.setInputPaths(job, new Path("/wcinput")); // 修改
FileOutputFormat.setOutputPath(job, new Path("/output1"));

 

确保集群中有/wcinput目录,并且下面有记事本文件中的单词。

确保集群中没有output1这个目录,因为它应该是要被动态创建出来的。

(四)上传到节点运行

使用finalshell上到任意节点,例如hadoop100上的/opt下,。

然后通过命令来执行执行WordCount程序,注意要写Driver类的全名

$ hadoop jar  /opt/wc.jarcom.root.mapreduce.wordcount.WordCountDriver

 运行结束之后,在ui中查看yarn运行效果。

修改执行参数

在上面的代码中,我们的程序只能完成固定目录下的功能。现在希望它能处理不同的目录。

修改代码,让程序能指定要执行的输入目录和要保存结果的输出目录。

修改driver类的代码,更新输入和输入路径。

// 6. 设置输入和输出路径
        路径为程序的第一个参数,第二个参数
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

 这里的args[0]和args[1]是程序运行时的两个参数。

改完代码之后,要重新打包,并上传到某台节点上运行。

http://www.dtcms.com/a/583036.html

相关文章:

  • 官方网站做背景墙厂家网站的开发方式
  • onethink做的企业网站在县城做商城网站
  • 【智能体-DeepMiner】利用滑动窗口 提高多轮交互能力
  • [尚庭公寓P159-169][结束][第7天]
  • 做网站用哪个编程语言wordpress多用户商城
  • 门户网站框架下载wordpress 果蔬论坛
  • C++并查集
  • Linux开发:readlink命令读取软连接指向的文件
  • 行业协会网站建设的方案郑州网站建站模板
  • 网站的设计方案wordpress做门户怎么样
  • Python 图片转字符画
  • ClamAV 在 CentOS7 上的离线安装与使用指南
  • 广东自助建站网站可以免费注册网站
  • 个人空间网站建设迅速上排名网站优化
  • 怎么检查网站死链中型网站
  • 网站平均停留时间常德烟机网站
  • Spring Boot 2.7.18(最终 2.x 系列版本)2 - 框架搭建:pom配置;多环境配置文件配置
  • mapreduce源码解读
  • wordpress 图片自动加水印东莞百度网站优化
  • 类似非小号的网站怎么做wordpress seo是什么
  • 跑酷游戏开发笔记1 背景移动 cocos3.8.7
  • 开封旅游网站建设项目方案完整html网页代码案例
  • 设计企业网站wordpress聊天小工具
  • 输入框实现placeholder 变成 title 展示
  • WinSCP无法连接CenOS7,解决
  • 盈佳国际天天做赢家网站wordpress仿北京时间
  • Fastapi 进阶四:Redis数据库及aioredis使用
  • Redis分布式锁的最佳实践:基于Redisson的实现方案
  • ui做的好看的论坛网站wordpress改字体
  • 做网站所需的知识技能在线域名解析ip地址查询