当前位置: 首页 > news >正文

Hadoop-HA集群部署

集群的服务器规划:

配置免密登陆:(这里示范的是第一台服务器,其余的操作一样),免密登陆是为了执行脚本统一操作,启动,如(hdfs集群:1上启动2.5.6.7)(yarn,3上启动4567)

免密登陆测试:从01服务器登陆05服务器:

ZOOKEEPER的配置自己去看前面的文章,装到(5.6.7)三台服务器上去

在6.7两台服务器上修改myid为2和3.这样你的 3台zk就都配置好了

启动zk,并且查看状态是否正常:

安装配置hadoop集群

1.如上图:两台hdfs的nameservice我将他们和在一起命名——ns1

2.指定hadoop的目录

3.指定zookeeper的集群地址

以上就已经将namenode的配置配好了

以下是日志的配置JournalNode,和zkfc的自动切换

配置mapreduce的框架为yarn

配置yarn的高可用

将1上的hadoop包拷贝到2.3.4.5.6.7

启动

测试yarn地址是 

http://www.dtcms.com/a/31027.html

相关文章:

  • AI刷题-多零件流水线优化问题
  • vue 判断一个属性值,如果是null或者空字符串或者是空格没有值的情况下,赋值为--
  • 【并发压测】高并发下Linux流量监控
  • TensorFlow 概念
  • 第五章 起航12 实习的小鸽飞了
  • 【RK3588嵌入式图形编程】-SDL2-构建模块化UI
  • istio介绍补充以及使用篇
  • 美团MTSQL特性解析:技术深度与应用广度的完美结合
  • Jmeter进阶篇(34)如何解决jmeter.save.saveservice.timestamp_format=ms报错?
  • 对学习编程语言的一些理解
  • Linux:文件(二)
  • flutter将utf-8编码的字节序列转换为中英文字符串
  • STL —— 洛谷字符串(string库)入门题(蓝桥杯题目训练)(二)
  • FreeRTOS学习笔记
  • Ubuntu 的RabbitMQ安装
  • Spring Boot项目中解决跨域问题(四种方式)
  • 使用WebStorm开发Vue3项目
  • AI大模型有哪些常见的应用场景
  • MySQL如何解决幻读?
  • 【git-hub项目:YOLOs-CPP】本地实现05:项目移植
  • 接口测试基础 --- 什么是接口测试及其测试流程?
  • 【深度学习】矩阵的理解与应用
  • 【vue项目如何利用event-stream实现文字流式输出效果】
  • Linux-CentOS 7安装
  • Python----数据结构(队列,顺序队列,链式队列,双端队列)
  • yum报错:bash: /usr/bin/yum: /usr/bin/python: 坏的解释器:没有那个文件或目录
  • 如何为自己的 PDF 文件添加密码?在线加密 PDF 文件其实更简单
  • 同程旅行对象存储实践:架构演进与未来展望
  • Linux 本地部署 Deepseek-R1 大模型!
  • Oracle 深入理解Lock和Latch ,解析访问数据块全流程