yarn面试题

一、名词解释

1. Container（资源容器）

• 核心定位：YARN 生态的最小资源单元，是物理资源（CPU、内存）的 “封装与隔离载体”。
• 核心作用：
  1. 由 YARN 的 ResourceManager 分配，为后续所有进程（管理 / 执行进程）提供固定资源，避免资源争抢。
  2. 所有进程（Application/Driver、MapTask/ReduceTask、Executor）必须运行在 Container 内，仅能使用其分配的资源。
• 适用范围：所有依赖 YARN 调度的框架（MapReduce、Spark 等）。

2. Application/Driver（管理进程）

• 核心定位：单个计算任务的总协调者，负责 “资源申请 - 任务拆分 - 状态监控”。
• 框架差异：
  • MapReduce 中称为 ApplicationMaster（AM）；
  • Spark 中称为 Driver。
• 核心作用：
  1. 资源申请：向 ResourceManager 申请 “自身运行的管理 Container” 和 “执行进程的执行 Container”。
  2. 任务调度：将计算任务拆分为子任务（如 Spark Task、MapReduce 子任务），分配给执行进程。
  3. 状态监控：监控执行进程运行状态，失败时协调重启。

3. MapTask/ReduceTask（MapReduce 执行进程）

• 核心定位：MapReduce 框架的具体计算执行者，仅用于 MapReduce 作业。
• 核心分工：
  • MapTask：读取 HDFS 原始数据，做 “转换处理”（过滤、提取字段），输出中间结果到本地磁盘。
  • ReduceTask：拉取 MapTask 中间结果并分组（Shuffle 阶段），做 “聚合计算”（求和、排序），最终结果写入 HDFS。
• 资源依赖：由 ApplicationMaster 申请 Container 后启动，数量由作业配置（Map 分片数、Reduce 个数）决定。

4. Executor（Spark 执行进程）

• 核心定位：Spark 框架的计算与缓存载体，仅用于 Spark 应用。
• 核心作用：
  1. 执行 Task：接收 Driver 分配的 Spark Task，完成具体计算。
  2. 数据缓存：支持将中间数据缓存到内存 / 磁盘（如 persist() 操作），减少重复计算。
  3. 资源复用：1 个 Executor 可运行多个 Task（由 --executor-cores 配置），降低进程开销。
• 资源依赖：由 Driver 申请 Container 后启动，数量和资源（内存、核数）通过 Spark 提交命令（--num-executors、--executor-memory）配置。

整体协作逻辑

1. 用户提交计算任务（如 Spark 应用、MapReduce 作业）；
2. YARN 启动管理进程（Driver/AM），并分配 1 个 “管理 Container”；
3. 管理进程向 ResourceManager 申请多个 “执行 Container”；
4. 在 “执行 Container” 内启动执行进程（Executor 或 MapTask/ReduceTask）；
5. 管理进程分配子任务给执行进程，执行进程在 Container 资源限制内完成计算。

二、面试问题

1、程序提交成功，但是不运行，而且不报错，什么问题，怎么解决？

资源问题：application master就没有启动

环境问题：

        nodemanager进程问题：进程存在，但不工作

        机器资源不足导致yarn或者hdfs服务停止：磁盘超过90%，所有服务不再工作

        解决：实现监控告警：80%，邮件告警

2、yarn中程序运行失败的原因遇到过哪些？

        代码逻辑问题

        资源问题：container

                application/driver：管理进程

                maptask和reducetask/executor：执行进程

        解决问题：配置进程给定更多的资源

问题 1：程序已提交 YARN，但是无法运行，报错: Application is added to the scheduler and is not activated. User's AM resource limit exceeded.       

        这个就是资源不足问题设置一下最大资源

        yarn.scheduler.capacity.maximum-am-resource-percent=0.8

        配置文件：${HADOOP_HOME}/etc/hadoop/capacity-scheduler.xml

        属性功能：指定队列最大可使用的资源容量大小百分比，默认为 0.2，指定越大，AM 能使用的资源越多

问题 2：程序提交，运行失败，报错：无法申请 Container

        yarn.scheduler.minimum-allocation-mb=512

        配置文件：${HADOOP_HOME}/etc/hadoop/yarn-site.xml

        属性功能：指定 AM 为每个 Container 申请的最小内存，默认为 1G，申请不足 1G，默认分配 1G，值过大，会导致资源不足，程序失败，该值越小，能够运行的程序就越多

问题 3：怎么提高 YARN 集群的并发度？

        从物理资源、YARN 资源、Container 资源、进程资源解决

物理资源

增加集群节点数量，或升级单节点的 CPU 核数和内存容量

YARN 资源配置

        yarn.nodemanager.resource.cpu-vcores=8单节点可分配的总 CPU 核数上限，定义节点 CPU 资源池大小

        yarn.nodemanager.resource.memory-mb=8192单节点可分配的总内存上限（8GB），定义节点内存资源池大小

Container 资源

        yarn.scheduler.minimum-allocation-vcores=1    单 Container 最少 1 核 CPU

        yarn.scheduler.maximum-allocation-vcores=32     单 Container 最多 32 核 CPU

        yarn.scheduler.minimum-allocation-mb=1024     单 Container 最少 1GB 内存

        yarn.scheduler.maximum-allocation-mb=8192     单 Container 最多 8GB 内存

MR Task 资源

        mapreduce.map.cpu.vcores=1    为每个 MapTask（Map 阶段任务） 分配 1 个 CPU 核心

        mapreduce.map.memory.mb=1024    为每个 MapTask 分配 1024 MB（即 1GB）内存

        mapreduce.reduce.cpu.vcores=1    为每个 ReduceTask（Reduce 阶段任务） 分配 1 个 CPU 核心

        mapreduce.reduce.memory.mb=1024   为每个 ReduceTask 分配 1024 MB（即 1GB）内存

Spark Executor 资源

        --driver-memory   #分配给Driver的内存，默认分配1GB

        --driver-cores   #分配给Driver运行的CPU核数，默认分配1核

        --executor-memory   #分配给每个Executor的内存数，默认为1G，所有集群模式都通用的选项

        --executor-cores   #分配给每个Executor的核心数，YARN集合和Standalone集群通用的选项

        --total-executor-cores NUM   #Standalone模式下用于指定所有Executor所用的总CPU核数

        --num-executors NUM     #YARN模式下用于指定Executor的个数，默认启动2个