当前位置: 首页 > news >正文

基于VirtualBox虚拟机部署完全分布式Hadoop环境

搭建

一、Ubuntu系统搭建

系统搭建
在这里插入图片描述

二、host配置

首先创建一个新用户hadoop并且分配权限,切换到hadoop用户下
在这里插入图片描述

成功切换
然后可以先克隆一下另一个虚拟机,为了之后的相互通信
在这里插入图片描述

直接点击虚拟机右键克隆即可

但是这里有一个问题,就是在克隆之后两个主机的/etc/hosts里面的ip地址是相同的,待会在传输公钥的时候无法正确生效,所以可以先更改一下两台虚拟机的ip地址和映射,
这个是需要的ip地址
在这里插入图片描述

克隆虚拟机(salve01):
在这里插入图片描述

主虚拟机(master)
在这里插入图片描述

三、ssh配置

安装ssh
在这里插入图片描述

这里已经安装过ssh
在这里插入图片描述

公钥传输完毕
在这里插入图片描述

对另一个主机名也是一样的配置,复制完公钥后删除传来的公钥
在这里插入图片描述

四、jdk配置

在这里插入图片描述

五、hadoop配置文件

安装hadoop,解压,并修改文件名和文件权限
在这里插入图片描述

在这里插入图片描述

添加hadoop的环境变量

在这里插入图片描述
在这里插入图片描述

六、hadoop的启动与停止

在这里插入图片描述
在这里插入图片描述


下面就是一些错误的排查了,发现了很多错误

错误

ip地址无法正确连接

需要找到正确的地址加到hosts里面
将原来hosts里的地址修改为这个
在这里插入图片描述

使用映射无法解析

在这里插入图片描述
可以直接使用地址就行

其他就是一些环境变量的问题hadoop和java,检查一下环境变量和权限就没问题
有任何其他问题可以私聊我~

相关文章:

  • 影视大数据分析新范式:亮数据动态代理驱动的实时数据采集方案
  • MMLU论文简介
  • 深度学习(CNN\TensorFlow)在遥感影像分析中的应用(矿产勘探、精准农业、城市规划、林业测量、军事目标识别和灾害评估等)
  • 测试类型术语,使用指标,计算方式,使用场景总结
  • Apache Struts RCE (CVE-2024-53677)
  • android ViewPager 管理 Fragment的预加载onCreate
  • FunASR:语音识别集成工具箱
  • [数据结构]顺序表详解
  • 使用LlamaIndex查询 MongoDB 数据库,并获取 OSS (对象存储服务) 上的 PDF 文件,最终用Langchain搭建应用
  • C语言之typedef
  • voltage/temperature derate指什么?
  • NCRE全国计算机等级考试二级Java-50道选择题【带解析】
  • RepVGGBlock实现
  • 解决MySQL错误:You can‘t specify target table ‘xxx‘ for update in FROM clause
  • SpringBoot速成(16)项目部署P30
  • 【YOLOv8】损失函数
  • 11.编写前端内容|vscode链接Linux|html|css|js(C++)
  • Spring中事务的传播行为方式
  • DeepSeek掀起推理服务器新风暴,AI应用迎来变革转折点?
  • FreeSwitch的mod_translate模块详细,附带场景案例及代码示例
  • 上海市税务局:收到对刘某某存在涉税问题的举报,正依法依规办理
  • ESG考证虚火:相比证书,知识结构+实战经验更重要
  • 由我国牵头制定,适老化数字经济国际标准发布
  • 香港特区立法会通过条例草案便利外地公司迁册来港
  • 硅料收储挺价“小作文”发酵光伏板块罕见大涨,知情人士:确实在谈
  • 沙县小吃中东首店在沙特首都利雅得开业,首天营业额超5万元