当前位置: 首页 > news >正文

实验一:统计字符个数

 集群测试

1.

cd ~
vim data.txt

 2.编辑data.txt

3.在HDFS创建lotusinput文件夹

hdfs dfs -mkdir /lotusinput

 4.将data.txt上传到HDFS

hdfs dfs -put data.txt /lotusinput

 5.查看是否上传成功

hdfs dfs -ls /lotusinput

6.运行MapReduce WordCount例子

cd ~/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /lotusinput /lotusoutput

 hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /lotusinput/**.txt /lotusoutput

/lotusinput/**.txt  输入路径

/lotusoutput 输出路径

 7.查看结果

hdfs dfs -cat /lotusoutput/part-r-00000

可以在端口中查看 

这只是一个方便查看的页面,这里存储的可以理解为指针。

实际的文件namenode地址为:

 文件内容存储地址

/usr/local/hadoop/tmp/dfs/data/current/BP-835320613-172.18.0.2-1741592099906/current/finalized/subdir0/subdir0。     注意:这里有三台服务器都有这个文件,因为我们的配置文件里面复印的分数是3份。如果我的集群存储datanoded的机器有4台,那么只有三台服务器有。

相关文章:

  • 【QT】-toUtf8() 和 toBase64()的区别
  • mysql5.7主从部署(docker-compose版本)
  • 【责任链模式的多种实现方式及其应用】
  • Modbus协议
  • LeetCode[142] 环形链表 II
  • 【C++】memset和memcpy函数
  • 案例驱动的 IT 团队管理:创新与突破之路:第二章 团队组建:从人才画像到生态构建-2.2.2案例:某游戏公司“特种作战小组“模式
  • NAT及P2P通信
  • 本地部署deepseek-r1建立向量知识库和知识库检索实践【代码】
  • defineExpose函数
  • matlab R2024b下载教程及安装教程(附安装包)
  • 嵌入式面经-C语言:智能指针,`#define` 和 `const`,`typedef`,头文件中定义静态变量
  • turfjs多边形切割多边形求交集
  • centos 如何将 nginx reload权限给其他用户
  • Linux安装部署Elasticsearch8 全过程记录
  • Nodejs使用redis
  • 解决leetcode第3480题删除一个冲突对后的最大子数组数目
  • Jocker靶机全面解析:漏洞挖掘、渗透测试与防御策略
  • RuoYi-Vue路由,Node
  • HOVER:人形机器人的多功能神经网络全身控制器
  • 习近平抵达莫斯科对俄罗斯进行国事访问并出席纪念苏联伟大卫国战争胜利80周年庆典
  • AI聊天机器人涉多起骚扰行为,专家呼吁加强伦理设计与监管
  • 江苏淮安优化村级资源配置:淮安区多个空心村拟并入邻村
  • 个人住房公积金贷款利率下调,100万元30年期贷款总利息将减少近5万元
  • 默茨在德国联邦议院第一轮投票中未能当选总理
  • 玉渊谭天丨是自保还是自残?八个恶果透视美国征收100%电影关税