重点专业建设网站 建设方案网站收录平台

Linux之perf(17)PMU事件采集脚本

Author: Once Day Date: 2025年2月22日

一位热衷于Linux学习和开发的菜鸟，试图谱写一场冒险之旅，也许终点只是一场白日梦…

漫漫长路，有人对你微笑过嘛…

全系列文章可参考专栏: Perf性能分析_Once_day的博客-CSDN博客。

参考文章:

• Tutorial - Perf Wiki (kernel.org)
• perf-top(1) - Linux manual page (man7.org)

---

1. Perf stat介绍

perf 是 Linux 内核提供的 性能分析工具，用于监控和分析 CPU、缓存、内存、I/O 等系统性能指标。

常用于统计 CPU 使用情况，分析函数调用热点(热点分析)，监测硬件事件(如缓存未命中、指令执行)，发现性能瓶颈。

在Linux系统上可以直接通过软件包管理器安装：

sudo apt install linux-tools-common linux-tools-$(uname -r)  # Ubuntu/Debian
sudo yum install perf                                        # CentOS/RHEL

perf stat 是 perf 的子命令，用于统计系统或进程的性能指标，比如指令执行数、CPU 时钟周期、缓存未命中等。

下面是一个基本用法示例：

root@linux:/var# perf stat      Performance counter stats for 'system wide':1969.215600      cpu-clock (msec)          #    2.000 CPUs utilized          24504      context-switches          #    0.012 M/sec                  0      cpu-migrations            #    0.000 K/sec                  1221      page-faults               #    0.620 K/sec                  1969063645      cycles                    #    1.000 GHz                    1085510412      instructions              #    0.55  insn per cycle         115590912      branches                  #   58.699 M/sec                  4341812      branch-misses             #    3.76% of all branches        0.984769200 seconds time elapsed       

常用选项：

选项	作用
-e <event>	指定监测的事件（如 cycles, cache-misses）
-a	监视整个系统
-C <cpu>	监视指定 CPU
-p <pid>	监视指定进程
-I <ms>	每 ms 毫秒输出一次统计数据
-x <sep>	以 <sep> 分隔字段（如 CSV 格式）

2. 设计与实现

2.1 采集事件来源

perf list 是 perf 工具的一个子命令，用于列出所有可用的性能监控事件（PMU 事件），包括 CPU 指令、缓存、内存、软件计数等。

perf list 事件分类：

事件类型	说明	示例
硬件事件(hardware events)	由 CPU 直接提供的性能指标	cycles, instructions, cache-misses
软件事件(software events)	由内核统计的操作系统事件	context-switches, cpu-clock, page-faults
缓存事件(cache events)	监测 CPU 缓存访问情况	L1-dcache-loads, LLC-load-misses
Tracepoint 事件	监测内核行为（调度、系统调用等）	sched:sched_switch, syscalls:sys_enter_read
PMU(Performance Monitoring Unit) 事件	处理器特定的硬件计数器	armv8_pmuv3/l1d_cache/, intel_pt//

通过使用 perf list 找到要监测的事件，然后用 perf stat -e <event> 进行分析。

例如，在设备上找到了以下与cache相关的事件：

硬件事件bus-cycles: 总线周期数cache-misses: cache miss次数cache-references: cache访问次数
硬件cache事件L1-dcache-load-misses: L1数据cache读miss次数L1-dcache-loads: L1数据cache读次数L1-dcache-store-misses: L1数据cache写miss次数L1-dcache-stores: L1数据cache写次数L1-icache-load-misses: L1指令cache读miss次数L1-icache-loads: L1指令cache读次数branch-load-misses: 分支预测表读miss次数branch-loads: 分支预测表读次数dTLB-load-misses: 数据TLB读miss次数iTLB-load-misses: 指令TLB读miss次数
内核PMU事件armv8_pmuv3/br_immed_retired/: 直接分支指令数armv8_pmuv3/br_mis_pred/: 预测失败分支数armv8_pmuv3/br_pred/: 预测成功分支数armv8_pmuv3/bus_access/: 总线访问事件armv8_pmuv3/bus_cycles/: 总线周期armv8_pmuv3/cid_write_retired/: 上下文ID寄存器写入事件armv8_pmuv3/cpu_cycles/: CPU周期armv8_pmuv3/exc_return/: 异常返回事件armv8_pmuv3/exc_taken/: 发生异常事件armv8_pmuv3/inst_retired/: 执行指令数armv8_pmuv3/l1d_cache/: L1数据cache访问事件armv8_pmuv3/l1d_cache_refill/: L1数据cache refill事件armv8_pmuv3/l1d_cache_wb/: L1数据cache写回事件armv8_pmuv3/l1d_tlb_refill/: L1数据TLB refill事件armv8_pmuv3/l1i_cache/: L1指令cache访问事件armv8_pmuv3/l1i_cache_refill/: L1指令cache refill事件armv8_pmuv3/l1i_tlb_refill/: L1指令TLB refill事件armv8_pmuv3/l2d_cache/: L2数据cache访问事件armv8_pmuv3/l2d_cache_refill/: L2数据cache refill事件armv8_pmuv3/l2d_cache_wb/: L2数据cache写回事件armv8_pmuv3/ld_retired/: 执行的load指令数armv8_pmuv3/mem_access/: 数据内存访问事件armv8_pmuv3/memory_error/: memory error事件armv8_pmuv3/pc_write_retired/: 执行的PC寄存器写指令数armv8_pmuv3/st_retired/: 执行的store指令数armv8_pmuv3/sw_incr/: 软件增加事件计数armv8_pmuv3/unaligned_ldst_retired/: 执行的非对齐的load/store指令数

然后分类为不同组，每组4-6个事件，不能太多，设备的PMU单元有限。当事件数超过硬件计数器支持的数量时，perf 会采用 多路复用（Multiplexing） 机制，导致每个事件只能在部分时间窗口内进行测量。

下面拆分为8个组事件：

# 定义以上提到的PMU事件, 单次最多支持6个事件
THIS_PMU_EVENTS = {"base-events": ["cycles", "instructions", "bus-cycles", "cache-misses", "cache-references"],"L1-dcache-events": ["L1-dcache-load-misses", "L1-dcache-loads", "L1-dcache-store-misses", "L1-dcache-stores", "dTLB-load-misses"],"L1-icache-events": ["L1-icache-load-misses", "L1-icache-loads", "iTLB-load-misses"],"armv8-base-events": ["bus_cycles", "bus_access", "mem_access", "memory_error", "cpu_cycles", "inst_retired"],"armv8-dcache-events": ["l1d_cache", "l1d_cache_refill", "l1d_cache_wb", "l1d_tlb_refill"],"armv8-icache-events": ["l1i_cache", "l1i_cache_refill", "l1i_tlb_refill"],"armv8-l2cache-events": ["l2d_cache", "l2d_cache_refill", "l2d_cache_wb"],"armv8-ldst-events": ["ld_retired", "st_retired", "unaligned_ldst_retired"],
}

2.2 使用CSV格式输出数据

perf stat支持输出CSV格式数据，我们不选择聚合数据，而是按照CPU分别输出，且每1s输出一次数据，如下：

perf stat -a -A -I 1000 -x , -e {events_str} sleep 10.5 2>&1

选项说明：

• -a：系统范围(system-wide)，监控所有 CPU，而不仅限于当前进程。
• -A：每个 CPU 单独显示统计数据(per-CPU statistics)。
• -I 1000：以 1000 毫秒(1 秒)为间隔，定期输出统计数据(定时采样)。
• -x ,：使用逗号(,)作为字段分隔符，以 CSV 格式输出数据，便于解析。
• -e {events_str}：指定要监控的硬件/软件事件，{events_str} 需要替换为具体的事件列表（如 cpu-cycles,instructions,cache-misses）。
• sleep 10.5：让 perf stat 运行 10.5 秒，然后退出。
• 2>&1：重定向标准错误输出到标准输出，确保所有输出信息都可以被捕获(例如写入文件或管道处理)。

下面是一个运行示例：

root@linux:/var# perf stat -e unaligned_ldst_retired,l2d_cache_refill -a -A -I 1000 -x ,# time,cpu,counter,unit,event,duration(ns),unit,,1.000226480,CPU0,73480,,unaligned_ldst_retired,1000147600,100.00,,1.000226480,CPU1,2807316,,unaligned_ldst_retired,1000158640,100.00,,1.000226480,CPU0,1343260,,l2d_cache_refill,1000152080,100.00,,1.000226480,CPU1,1282233,,l2d_cache_refill,1000149120,100.00,,

该 perf stat 命令定期(每秒)采样两个硬件事件 unaligned_ldst_retired(未对齐的加载/存储指令退役)和 l2d_cache_refill（L2 数据缓存未命中导致的填充），并按 CPU（CPU0 和 CPU1）分别统计。

从示例数据来看，在 1 秒内：

• 未对齐的加载/存储指令退役 (unaligned_ldst_retired)，CPU0 发生 73,480 次，CPU1 发生 2,807,316 次，CPU1 远高于 CPU0，可能存在未对齐内存访问较多的任务。
• L2 数据缓存填充 (l2d_cache_refill)，CPU0 发生 1,343,260 次，CPU1 发生 1,282,233 次，两个 CPU 的 L2 缓存填充次数接近，说明 L2 缓存访问特性相似。

采样时间间隔 约 1 秒（duration(ns) 约 1,000,000,000 纳秒）。

2.3 Python解析数据和保存数据

get_pmu_events 和 record_pmu_events 是两个用于收集和记录PMU（性能监控单元）事件数据的函数。

def get_pmu_events(events_str: str) -> dict[str, list[dict[str, str]]]:cmd_str = f"perf stat -a -A -I 1000 -x , -e {events_str} sleep 10.5 2>&1"logging.info(f"Start to collect PMU event data, command: {cmd_str}")result = os.popen(cmd_str).read()pmu_events = {}for line in result.split("\n"):line_data = line.strip().split(",")if len(line_data) != 9:logging.debug(f"Invalid data, skip: {line}")continuetimestamp, cpu, counter, _, event_name, duration, _, _, _ = line_datatimestamp = timestamp.strip()logging.info(f"Collect PMU event data: {timestamp}: {cpu}, {duration}, {event_name}: {counter}")event_data = {"timestamp": timestamp, "cpu": cpu, "cycles": duration, "counter": counter}if event_name not in pmu_events:pmu_events[event_name] = []pmu_events[event_name].append(event_data)return pmu_events

get_pmu_events 函数的作用是执行 perf stat 命令来收集指定的PMU事件数据，并解析结果，返回一个包含解析后数据的字典。

解析 perf stat 数据的步骤：

1. 构建 perf stat 命令字符串，指定要收集的事件、采集间隔和持续时间。
2. 使用 os.popen 异步执行 perf stat 命令，并读取输出结果。
3. 将结果按行分割，并逐行解析数据。
4. 每行数据按逗号分隔，提取时间戳、CPU编号、事件值和事件名称等信息。
5. 将解析后的数据存入字典中，字典的键是事件名称，值是包含事件数据的列表。

record_pmu_events 函数的作用是遍历指定的PMU事件组，逐个采集数据，并将数据保存到指定的文件中。

def record_pmu_events(event_groups: dict[str, list[str]], output_file: str, tag: str):for group_name, events in event_groups.items():logging.info(f"Start to collect PMU events data for group: {group_name} - {events}")events_str = ",".join(events)pmu_events = get_pmu_events(events_str)with open(output_file, "a+") as f:for event_name, event_data in pmu_events.items():for data in event_data:f.write(f"{tag},{event_name},{data['timestamp']},{data['cpu']},{data['cycles']},{data['counter']}\n")logging.info(f"Save PMU events {group_name} data to file: {output_file}")logging.info(f"Record PMU events data finished, save to file: {output_file}")

保存数据到文件的步骤：

1. 遍历事件组，逐个采集PMU事件数据。
2. 调用 get_pmu_events 函数获取指定事件组的PMU事件数据。
3. 将解析后的数据以CSV格式保存到文件中。每条记录包含标签、事件名、时间戳、CPU编号、统计时长和计数器值。
4. 如果文件不存在，则创建文件并写入CSV表头。
5. 记录完成后，日志记录保存文件的操作。

2.4 制作图表

在设备上运行脚本后，可以生成CSV文件，信息如下：

tag,event_name,timestamp,cpu,cycles,counter
skip_soft_checksum,cycles,1.000446320,CPU0,1000195920,1000054507
skip_soft_checksum,cycles,1.000446320,CPU1,1000217200,1000190918
skip_soft_checksum,cycles,2.001181600,CPU0,1000808960,1000729035
skip_soft_checksum,cycles,2.001181600,CPU1,1000796640,1000787052
skip_soft_checksum,cycles,3.001844080,CPU0,1000659440,1000584718
skip_soft_checksum,cycles,3.001844080,CPU1,1000659520,1000649955
......

但这个数据不够形象，需要转换为图表，有很多种方式，比如python处理成图表，导入Excel处理等。

我们这里选择导入飞书多维数据表格，然后生成需要的图表。

3. 源码文件

'''
SPDX-License-Identifier: BSD-3-ClauseCopyright (c) 2025 Once Day <[e-mail]>, All rights reserved.FilePath: /linux/perf/pmu-collect/pmu-collect.py
@Author: Once Day <[e-mail]>.
Date: 2025-02-22 12:57
@info: Encoder=utf-8,Tabsize=4,Eol=\n.@Description:收集指定的PMU事件数据, 使用perf stat命令收集数据, 并将数据保存到指定的文件中.@History:2025-02-22: 支持 【收集 + 触发开关 + 收集】 的简易控制变量模型'''from math import log
import os
import sys
import logging# 日志配置, 默认INFO级别, 格式: 时间 <级别> 文件名-代码行: 消息, 重定向到标准输出
logging.basicConfig(level=logging.INFO, format="%(asctime)s <%(levelname)s> %(filename)s-%(lineno)d: %(message)s", stream=sys.stdout)# PMU事件列表
"""
硬件事件bus-cycles: 总线周期数cache-misses: cache miss次数cache-references: cache访问次数
硬件cache事件L1-dcache-load-misses: L1数据cache读miss次数L1-dcache-loads: L1数据cache读次数L1-dcache-store-misses: L1数据cache写miss次数L1-dcache-stores: L1数据cache写次数L1-icache-load-misses: L1指令cache读miss次数L1-icache-loads: L1指令cache读次数branch-load-misses: 分支预测表读miss次数branch-loads: 分支预测表读次数dTLB-load-misses: 数据TLB读miss次数iTLB-load-misses: 指令TLB读miss次数
内核PMU事件armv8_pmuv3/br_immed_retired/: 直接分支指令数armv8_pmuv3/br_mis_pred/: 预测失败分支数armv8_pmuv3/br_pred/: 预测成功分支数armv8_pmuv3/bus_access/: 总线访问事件armv8_pmuv3/bus_cycles/: 总线周期armv8_pmuv3/cid_write_retired/: 上下文ID寄存器写入事件armv8_pmuv3/cpu_cycles/: CPU周期armv8_pmuv3/exc_return/: 异常返回事件armv8_pmuv3/exc_taken/: 发生异常事件armv8_pmuv3/inst_retired/: 执行指令数armv8_pmuv3/l1d_cache/: L1数据cache访问事件armv8_pmuv3/l1d_cache_refill/: L1数据cache refill事件armv8_pmuv3/l1d_cache_wb/: L1数据cache写回事件armv8_pmuv3/l1d_tlb_refill/: L1数据TLB refill事件armv8_pmuv3/l1i_cache/: L1指令cache访问事件armv8_pmuv3/l1i_cache_refill/: L1指令cache refill事件armv8_pmuv3/l1i_tlb_refill/: L1指令TLB refill事件armv8_pmuv3/l2d_cache/: L2数据cache访问事件armv8_pmuv3/l2d_cache_refill/: L2数据cache refill事件armv8_pmuv3/l2d_cache_wb/: L2数据cache写回事件armv8_pmuv3/ld_retired/: 执行的load指令数armv8_pmuv3/mem_access/: 数据内存访问事件armv8_pmuv3/memory_error/: memory error事件armv8_pmuv3/pc_write_retired/: 执行的PC寄存器写指令数armv8_pmuv3/st_retired/: 执行的store指令数armv8_pmuv3/sw_incr/: 软件增加事件计数armv8_pmuv3/unaligned_ldst_retired/: 执行的非对齐的load/store指令数
"""
# 定义以上提到的PMU事件, 单次最多支持6个事件
THIS_PMU_EVENTS = {"base-events": ["cycles", "instructions", "bus-cycles", "cache-misses", "cache-references"],"L1-dcache-events": ["L1-dcache-load-misses", "L1-dcache-loads", "L1-dcache-store-misses", "L1-dcache-stores", "dTLB-load-misses"],"L1-icache-events": ["L1-icache-load-misses", "L1-icache-loads", "iTLB-load-misses"],"armv8-base-events": ["bus_cycles", "bus_access", "mem_access", "memory_error", "cpu_cycles", "inst_retired"],"armv8-dcache-events": ["l1d_cache", "l1d_cache_refill", "l1d_cache_wb", "l1d_tlb_refill"],"armv8-icache-events": ["l1i_cache", "l1i_cache_refill", "l1i_tlb_refill"],"armv8-l2cache-events": ["l2d_cache", "l2d_cache_refill", "l2d_cache_wb"],"armv8-ldst-events": ["ld_retired", "st_retired", "unaligned_ldst_retired"],
}# 采集PMU事件并且解析结果, 存入文件里面
"""
root@linux:/var# perf stat -e unaligned_ldst_retired,l2d_cache_refill -a -A -I 1000 -x ,# time,cpu,counter,unit,event,duration(ns),unit,,1.000226480,CPU0,73480,,unaligned_ldst_retired,1000147600,100.00,,1.000226480,CPU1,2807316,,unaligned_ldst_retired,1000158640,100.00,,1.000226480,CPU0,1343260,,l2d_cache_refill,1000152080,100.00,,1.000226480,CPU1,1282233,,l2d_cache_refill,1000149120,100.00,,
"""
def get_pmu_events(events_str: str) -> dict[str, list[dict[str, str]]]:"""执行perf stat命令, 并且解析结果, 返回解析后的结果-a -A: 收集所有CPU的数据, 且按照CPU编号进行区分-I 1000: 每隔1s收集一次数据-x ,: 使用逗号分隔数据sleep 60: 收集60s的数据返回数据格式:{"unaligned_ldst_retired": [{"timestamp": "1.000226480", "cpu": "CPU0", "counter": "1000147600"},{"timestamp": "1.000226480", "cpu": "CPU1", "counter": "1000158640"}],......}"""cmd_str = f"perf stat -a -A -I 1000 -x , -e {events_str} sleep 10.5 2>&1"# 异步执行perf stat命令, 并且将结果保存到文件中(添加到文件末尾)logging.info(f"Start to collect PMU event data, command: {cmd_str}")# 使用pipe读取数据result = os.popen(cmd_str).read()# logging.debug(f"Collect PMU event data finished, output result: {result}")# 解析结果pmu_events = {}for line in result.split("\n"):# 解析每一行数据line_data = line.strip().split(",")# 数据格式: time,cpu,counter,unit,event,duration,unit,, 9个数据if len(line_data) != 9:logging.debug(f"Invalid data, skip: {line}")continue# 时间戳, CPU编号, 事件值, 事件名称timestamp, cpu, counter, _, event_name, duration, _, _, _ = line_data# 去除timestamp中的空格timestamp = timestamp.strip()logging.info(f"Collect PMU event data: {timestamp}: {cpu}, {duration}, {event_name}: {counter}")# 保存数据event_data = {"timestamp": timestamp, "cpu": cpu, "cycles": duration, "counter": counter}if event_name not in pmu_events:pmu_events[event_name] = []pmu_events[event_name].append(event_data)return pmu_eventsdef record_pmu_events(event_groups: dict[str, list[str]], output_file: str, tag: str):"""遍历PMU事件组, 逐个采集数据, 并且将数据保存到文件中."""for group_name, events in event_groups.items():# 采集PMU事件数据logging.info(f"Start to collect PMU events data for group: {group_name} - {events}")events_str = ",".join(events)pmu_events = get_pmu_events(events_str)# 解析数据, 保存到文件中, 记录为CSV格式: 标签, 事件名, 时间戳(s), CPU编号, 统计时长(us), 计数器值with open(output_file, "a+") as f:for event_name, event_data in pmu_events.items():for data in event_data:f.write(f"{tag},{event_name},{data['timestamp']},{data['cpu']},{data['cycles']},{data['counter']}\n")logging.info(f"Save PMU events {group_name} data to file: {output_file}")logging.info(f"Record PMU events data finished, save to file: {output_file}")if __name__ == "__main__":save_file = "this_pmu_events.csv"# 如果文件不存在, 则创建文件if not os.path.exists(save_file):with open(save_file, "w") as f:# CSV格式: 标签, 事件名, 时间戳(s), CPU编号, 统计时长(us), 计数器值f.write("tag,event_name,timestamp,cpu,cycles,counter\n")logging.info(f"Create new file: {save_file}")else:logging.info(f"Use existing file: {save_file}")# 标签名称来自于命令行参数if len(sys.argv) > 1:tag_str = sys.argv[1]else:tag_str = "default"logging.info(f"Start to collect PMU events data, tag: {tag_str}")# 采集THIS_PMU_EVENTS中定义的PMU事件, 并且保存到文件中record_pmu_events(THIS_PMU_EVENTS, save_file, tag_str)

Once Day

也信美人终作土，不堪幽梦太匆匆......

如果这篇文章为您带来了帮助或启发，不妨点个赞👍和关注，再加上一个小小的收藏⭐！

(｡◕‿◕｡)感谢您的阅读与支持~~~