当前位置: 首页 > news >正文

配置hadoop集群-启动集群

1)如果集群是第一次启动,需要hadoop100节点指定为namenode的节点格式化NameNode(注意:格式化NameNode会产生新的集群id

命令是:hd。具体如下:

[root@hadoop100 hadoop-3.1.3]$ hdfs namenode -format

2启动HDFS

[root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh

提醒:此时会报错不允许使用root用户来启动HDFS!

在环境变量中添加/etc/profile.d/my_env.sh

#添root加环境变量

#告诉 Hadoop 使用 root 用户来启动和管理相应的服务

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

同步给其他的机器,并使用source命令,让环境变量生效!

再来试一次。

3)在配置了ResourceManager的节点(hadoop101)启动YARN

[root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh

)查看集群运行效果

1Web端查看HDFSNameNode

(a)浏览器中输入http://hadoop100:9870

3)查看YARN上运行的Job信息

 

 

相关文章:

  • 求由无穷串构成的二进制数的值
  • 短板效应--双指针
  • Kubernetes 中kind类型和各类型详细配置完整示例介绍
  • Proxmox VE 8.4.0显卡直通完整指南:NVIDIA Tesla T4 实战
  • MLA (Multi-head Attention Layer) 详细说明
  • python通过curl访问deepseek的API调用案例
  • 07_Java中的锁
  • MySQL入门指南:从安装到客户端工具全解析
  • STM32 ADC 模数转换器详解:原理、配置与应用
  • Python核心数据类型全解析:字符串、列表、元组、字典与集合
  • 笔试模拟 day9
  • JVM之虚拟机运行
  • 飞搭系列 | 多对多关系一键配置, 轻松驾驭复杂场景
  • 小白的LLM学习记录(一)
  • Linux动态库静态库总结
  • 运行Spark程序-在shell中运行1
  • 如何通过外卖系统源码打造本地O2O外卖配送生态?全链路技术解析
  • Java练习题:String
  • python文件打包成exe文件
  • SQLMesh信号机制详解:如何精准控制模型评估时机
  • 王毅谈中拉命运共同体建设“五大工程”及落实举措
  • 回望乡土:对媒介化社会的反思
  • 通辽警方侦破一起积压21年的命案:嫌疑人企图强奸遭反抗后杀人
  • 美国政府信用卡被设1美元限额,10美元采购花一两小时填表
  • 著名蒙古族音乐学者马•斯尔古愣逝世,享年86岁
  • 长期对组织隐瞒真实年龄,广元市城发集团原董事韩治成被双开