当前位置：首页 > wzjs >正文

合肥做淘宝网站百度云网盘搜索引擎

wzjs 2025/8/25 8:15:40

合肥做淘宝网站,百度云网盘搜索引擎,设计网页的详细步骤,新疆建设工程信息网打不开?一种Spark程序运行指标的采集与任务诊断实现方式编写时间：2023年8月2日第一次校准时间：2023年8月2日文章目录一种Spark程序运行指标的采集与任务诊断实现方式数据链路采集器的类图CustomSparkListener采集的指标task相关stage相关Job相关Executors相关诊断诊断分类调度阶…

一种Spark程序运行指标的采集与任务诊断实现方式

编写时间：2023年8月2日

第一次校准时间：2023年8月2日

文章目录

一种Spark程序运行指标的采集与任务诊断实现方式
- 数据链路
- 采集器的类图
- CustomSparkListener采集的指标
- - task相关
  - stage相关
  - Job相关
  - Executors相关
- 诊断
- - 诊断分类
  - - 调度阶段诊断
    - 周期性诊断
    - 应用结束诊断
  - 诊断报告
- 附录 Spark程序的运行监听器
- - - **SparkListener**
    - **StreamingListener**接口

数据链路

spark-metrics-collector.jar 作为Spark运行扩展包部署在Spark上，在Spark程序运行时，在SparkContext中将CustomSparkListener监听器注册到listenerBus中。进行任务的跟踪、指标采集与诊断。同理在StreamingContext中将CustomStreamingListener监听器注册到StreamingListenerBus中，对流式任务的跟踪、指标采集与诊断。
通过监听器将程序运行是的相关指标进行采集、诊断后发送到指标的统一接收端（DMA），做数据删选后，写入对应的Kafka的Topic中。
通过消费对应的Topic，将相关数据存入分析系统中。