当前位置: 首页 > news >正文

Spark 之 metrics

  • peak memory

.//sql/core/src/main/scala/org/apache/spark/sql/execution/aggregate/HashAggregateExec.scala: “peakMemory” -> SQLMetrics.createSizeMetric(sparkContext, “peak memory”),
.//sql/core/src/main/scala/org/apache/spark/sql/execution/SortExec.scala: “peakMemory” -> SQLMetrics.createSizeMetric(sparkContext, “peak memory”),

  • src/test/scala/org/apache/spark/sql/execution/metric/SQLMetricsTestUtils.scala
  // Pattern of size SQLMetric value, e.g. "\n96.2 MiB (32.1 MiB, 32.1 MiB, 32.1 MiB (stage 0.0:// task 4))" OR "\n96.2 MiB (32.1 MiB, 32.1 MiB, 32.1 MiB)"protected val sizeMetricPattern 

相关文章:

  • 洛谷 P3811:【模板】模意义下的乘法逆元
  • 可撤销并查集,原理分析,题目练习
  • STM32 ADC
  • 数据结构 - 8( AVL 树和红黑树 10000 字详解 )
  • Android学习总结之kotlin协程面试篇
  • PowerShell 复制源文件夹中的所有文件和子文件夹到目
  • 机器学习 数据集
  • OpenCV 基于生物视觉模型的工具------模拟人眼视网膜的生物视觉机制类cv::bioinspired::Retina
  • 表达式求值(算法题)
  • Linux 常用命令 - tftp【简单文件传输协议】
  • 穿越“协议迷雾”:Modbus转Profinet与60LB伺服的传奇相遇
  • Hadoop MapReduce 图文代码讲解
  • 功能安全的关键——MCU锁步核技术全解析(含真实应用方案)
  • 什么是多模态大模型?为什么需要多模态大模型?
  • JAVA:Spring Boot 集成 Lua 的技术博客
  • IDEA 2024 版本配置热部署
  • SSM 框架是指什么,其优缺点,怎样用到在你的程序里
  • 图形渲染+事件处理最终版
  • KRaft (Kafka 4.0) 集群配置指南(超简单,脱离 ZooKeeper 集群)还包含了简化测试指令的脚本!!!
  • 线性回归算法介绍和代码例程
  • 治沙“异瞳”男生疑似摆拍,团队称合作12天多期视频为策划拍摄
  • 经济日报:降准降息,提前还房贷划算吗?
  • 8大类1000多支,中国红十字会已建成10万人规模救援队伍
  • 这个接班巴菲特的男人,说不出一个打动人心的故事
  • 阿曼宣布美国与胡塞武装达成停火协议
  • 86岁书画家、美术教育家、吴昌硕嫡裔曾孙吴民先离世