当前位置: 首页 > news >正文

实验一:统计字符个数

 集群测试

1.

cd ~
vim data.txt

 2.编辑data.txt

3.在HDFS创建lotusinput文件夹

hdfs dfs -mkdir /lotusinput

 4.将data.txt上传到HDFS

hdfs dfs -put data.txt /lotusinput

 5.查看是否上传成功

hdfs dfs -ls /lotusinput

6.运行MapReduce WordCount例子

cd ~/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /lotusinput /lotusoutput

 hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /lotusinput/**.txt /lotusoutput

/lotusinput/**.txt  输入路径

/lotusoutput 输出路径

 7.查看结果

hdfs dfs -cat /lotusoutput/part-r-00000

可以在端口中查看 

这只是一个方便查看的页面,这里存储的可以理解为指针。

实际的文件namenode地址为:

 文件内容存储地址

/usr/local/hadoop/tmp/dfs/data/current/BP-835320613-172.18.0.2-1741592099906/current/finalized/subdir0/subdir0。     注意:这里有三台服务器都有这个文件,因为我们的配置文件里面复印的分数是3份。如果我的集群存储datanoded的机器有4台,那么只有三台服务器有。

http://www.dtcms.com/a/77057.html

相关文章:

  • 【QT】-toUtf8() 和 toBase64()的区别
  • mysql5.7主从部署(docker-compose版本)
  • 【责任链模式的多种实现方式及其应用】
  • Modbus协议
  • LeetCode[142] 环形链表 II
  • 【C++】memset和memcpy函数
  • 案例驱动的 IT 团队管理:创新与突破之路:第二章 团队组建:从人才画像到生态构建-2.2.2案例:某游戏公司“特种作战小组“模式
  • NAT及P2P通信
  • 本地部署deepseek-r1建立向量知识库和知识库检索实践【代码】
  • defineExpose函数
  • matlab R2024b下载教程及安装教程(附安装包)
  • 嵌入式面经-C语言:智能指针,`#define` 和 `const`,`typedef`,头文件中定义静态变量
  • turfjs多边形切割多边形求交集
  • centos 如何将 nginx reload权限给其他用户
  • Linux安装部署Elasticsearch8 全过程记录
  • Nodejs使用redis
  • 解决leetcode第3480题删除一个冲突对后的最大子数组数目
  • Jocker靶机全面解析:漏洞挖掘、渗透测试与防御策略
  • RuoYi-Vue路由,Node
  • HOVER:人形机器人的多功能神经网络全身控制器
  • Leetcode-回溯-组合型
  • Vue 中如何使用 nextTick?
  • 解决uni-app授权弹框华为审核拒绝
  • OpenAI--Agent SDK简介
  • linux入侵排查-综合日志分析
  • halcon几何测量(一)3d_position_of_rectangle
  • 【QT:多线程、锁】
  • 自然语言处理 | 文本清洗的20种核心策略:从数据噪声到信息价值
  • YunSDR AIR:从架构革新到智能融合的演进之路
  • HTML 专栏总结:回顾与展望