织梦可以做婚纱影楼网站吗济源网站优化
一、Hadoop 三大件概述
Hadoop 作为大数据领域的基石，其核心由三大组件构成：
HDFS（分布式文件系统）：负责海量数据的分布式存储，通过数据分块和副本机制保障可靠性，是大数据存储的基础设施。
MapReduce（分布式计算框架）：基于 “分而治之” 思想，将复杂计算任务拆解为 Map 和 Reduce 阶段，实现大规模数据的并行处理。
Yarn（资源管理器）：作为 Hadoop 的 “操作系统”，负责集群资源（内存、CPU、带宽等）的统一管理与调度。它诞生于 Hadoop 生态，如今已演进为独立的通用资源管理系统，可支持 MapReduce、Spark 等多种计算框架运行。
二、Yarn 的核心组成部分
Yarn 采用主从架构，由四大核心组件协同工作：
1. ResourceManager（RM，资源管理器）—— 集群的 “总指挥”
角色：Yarn 集群的唯一主节点，全局管理所有资源（内存 / CPU / 网络等），协调各个应用程序对资源的请求。
关键模块：
调度器（Scheduler）：根据资源分配策略（如容量调度、公平调度）为应用程序分配资源，不负责监控任务状态。
应用管理器（ApplicationManager）：管理所有应用程序的生命周期，包括应用程序提交、失败重试等。
2. NodeManager（NM，节点管理器）—— 单节点的 “大管家”
角色：运行在集群每个节点上，负责管理本节点的资源（CPU / 内存 / 磁盘等），监控容器状态，并与 ResourceManager 通信汇报节点健康情况。
核心职责：
启动并监控 Container，
执行 ResourceManager 的资源分配指令。管理本地日志和任务运行环境。
3. Container（容器）—— 资源的 “封装载体”
定义：Yarn 中资源分配的最小单位，封装了一组具体资源（如 2GB 内存 + 1 个 CPU 核心），类似于轻量级虚拟机。
特点：
每个 Container 归属于特定应用程序，资源隔离性强。
支持动态扩展，根据任务需求调整资源配置。
4. ApplicationMaster（AM，应用管理器）—— 任务的 “项目经理”
角色：每个应用程序（如 MapReduce 作业）的专属管理者，负责与 ResourceManager 协商资源、与 NodeManager 交互启动任务，并监控作业进度。
核心功能：
分解作业为多个任务（如 MapTask/ReduceTask），
并为任务申请资源。处理任务失败和重试，协调任务间依赖关系。
三、Yarn 的配置与搭建实战
1. 环境准备
集群规划：假设 3 节点集群（bigdata01 为主节点，bigdata02/bigdata03 为从节点）。
配置文件路径：所有配置文件位于/opt/installs/hadoop/etc/hadoop/目录。
2. 关键配置步骤
（1）指定 MapReduce 运行平台为 Yarn
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
（2）配置 ResourceManager 主节点
<property><name>yarn.resourcemanager.hostname</name><value>bigdata01</value> <!-- 主节点主机名 -->
</property>
（3）启用 MapReduce Shuffle 服务（用于数据传输）
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
（4）配置权限与 Classpath（避免 AppMaster 启动失败）
<!-- hadoop-env.sh中添加 -->
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root<!-- yarn-site.xml中添加 -->
<property><name>yarn.application.classpath</name><value>/opt/installs/hadoop/etc/hadoop:/opt/installs/hadoop/share/hadoop/common/lib/*:...</value> <!-- 完整路径需包含Hadoop各模块依赖 -->
</property>
（5）分发配置文件至从节点
# 在主节点执行
cd /opt/installs/hadoop/etc/hadoop/
xsync.sh mapred-site.xml yarn-site.xml # xsync为自定义同步脚本，需提前配置
3. 启动与停止命令
| 服务 | 启动命令 | 停止命令 | 说明 |
|---|---|---|---|
| HDFS | start-dfs.sh | stop-dfs.sh | 管理 HDFS namenode/datanode |
| Yarn | start-yarn.sh | stop-yarn.sh | 管理 ResourceManager/NodeManager |
| 全集群 | start-all.sh | stop-all.sh | 同时启动 HDFS 和 Yarn |
| 单独启动 RM | yarn --daemon start resourcemanager | yarn --daemon stop resourcemanager | 仅操作主节点 RM |
| 单独启动 NM | yarn --daemon start nodemanager | yarn --daemon stop nodemanager | 仅操作当前节点 NM |
验证启动状态：访问 Yarn Web 界面 http://bigdata01:8088，查看集群资源使用情况和应用列表。
四、Yarn 实战：WordCount 案例
1. 准备数据
本地文件：创建wc.txt并写入内容：
hadoop spark hello hadoop
spark hello flink world
scala python python scala
hdfs dfs -mkdir /home
hdfs dfs -put /home/wc.txt /home
2. 运行 MapReduce 作业
# 执行Hadoop自带的WordCount示例
hadoop jar /opt/installs/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /home/wc.txt /home/output
3. 查看结果
hdfs dfs -cat /home/output/part-r-00000
# 输出结果（示例）：
# hadoop 2
# hello 2
# spark 2