可观测之Tracing-bpftrace

bpftrace是基于eBPF（extended Berkeley Packet Filter）技术的高级跟踪工具。eBPF是Linux内核中的一个虚拟机，允许用户在内核空间安全、高效地运行自定义的程序（称为eBPF程序）。

1. 底层原理

bpftrace底层原理包括但不仅限于：

• eBPF虚拟机：
  • eBPF程序以字节码的形式加载到内核中。
  • 内核中的验证器会检查eBPF程序的安全性，确保它不会导致内核崩溃或安全漏洞。
  • eBPF程序通过JIT（Just-In-Time）编译器编译成本地机器码，以提高执行效率。
  • eBPF程序可以访问内核中的各种数据结构和函数，但受到严格的限制。
• bpftrace前端：
  • bpftrace提供了一种高级的、领域特定的语言（DSL），用于编写跟踪脚本。
  • bpftrace前端将用户编写的脚本编译成eBPF字节码。
  • bpftrace前端通过libbpf库与内核中的eBPF虚拟机交互，加载和执行eBPF程序。
• 跟踪机制：
  • bpftrace利用eBPF提供的各种跟踪机制，如：
    • kprobes（内核探针）： 动态地在内核函数的入口或出口处插入探针。
    • uprobes（用户探针）： 动态地在用户空间函数的入口或出口处插入探针。
    • tracepoints（跟踪点）： 内核中预定义的静态跟踪点。
    • USDT（用户级静态定义跟踪）： 用户空间程序中预定义的静态跟踪点。
    • perf events： 性能事件，如CPU周期、缓存未命中等。

2. 在不同使用场景中的工作流程

• 网络性能监控：

  1. 编写bpftrace脚本： 使用bpftrace DSL编写脚本，指定要跟踪的网络事件（如tracepoint:net:netif_receive_skb）和要收集的数据（如数据包大小、延迟等）。
  2. 编译和加载： bpftrace前端将脚本编译成eBPF字节码，并通过libbpf加载到内核。
  3. 内核执行： 当网络事件发生时，eBPF程序被触发执行，收集指定的数据。
  4. 数据聚合： eBPF程序可以将收集到的数据存储在eBPF映射（map）中，进行聚合（如计算平均值、直方图等）。
  5. 用户空间读取： bpftrace前端从eBPF映射中读取聚合后的数据，并将其输出到终端或文件中。

• 系统调用跟踪：

  1. 编写bpftrace脚本： 使用tracepoint:syscalls:sys_enter_*或tracepoint:syscalls:sys_exit_*跟踪系统调用的进入或退出。
  2. 编译和加载： 同上。
  3. 内核执行： 当系统调用发生时，eBPF程序被触发，记录系统调用名称、参数、返回值等信息。
  4. 数据聚合/过滤： 可以根据需要对系统调用进行过滤或聚合。
  5. 用户空间读取： 同上。

• 内核探针（kprobes/uprobes）：

  1. 编写bpftrace脚本： 使用kprobe:function_name或uprobe:/path/to/binary:function_name指定要探测的内核函数或用户空间函数。
  2. 编译和加载： 同上。
  3. 内核/用户空间执行： 当函数被调用时，eBPF程序被触发，可以访问函数的参数、返回值、局部变量等。
  4. 数据处理： 可以对收集到的数据进行各种处理，如计算函数执行时间、统计调用次数等。
  5. 用户空间读取： 同上。

• 跟踪点（tracepoints）：

  1. 编写bpftrace脚本： 使用tracepoint:category:event_name指定要跟踪的跟踪点。
  2. 编译和加载： 同上。
  3. 内核执行： 当跟踪点事件发生时，eBPF程序被触发，可以访问跟踪点提供的上下文信息。
  4. 数据处理： 同上。
  5. 用户空间读取： 同上。

• 安全监控：

  1. 编写bpftrace脚本： 跟踪与安全相关的事件，如文件访问、网络连接、进程创建等。
  2. 编译和加载： 同上。
  3. 内核执行： 当安全相关事件发生时，eBPF程序被触发，记录事件信息。
  4. 安全分析： 可以根据收集到的信息进行安全分析，如检测异常行为、入侵检测等。
  5. 用户空间读取/告警： 可以将安全事件信息输出到日志或触发告警。

• 容器监控：

  1. 编写bpftrace脚本： 利用cgroup相关的eBPF程序类型（如BPF_PROG_TYPE_CGROUP_SKB、BPF_PROG_TYPE_CGROUP_SOCK）来跟踪容器内的网络流量、资源使用等。
  2. 编译和加载： 同上。
  3. 内核执行： 当容器内的事件发生时，eBPF程序被触发，可以区分不同容器的事件。
  4. 数据聚合/过滤： 可以根据容器ID或其他标识符对数据进行过滤或聚合。
  5. 用户空间读取： 同上。

• 应用性能监控（APM）：

  1. 编写bpftrace脚本： 使用uprobes跟踪应用程序中的关键函数，或使用USDT跟踪应用程序中预定义的事件。
  2. 编译和加载： 同上。
  3. 用户空间执行： 当应用程序执行到被跟踪的函数或事件时，eBPF程序被触发，可以收集函数执行时间、参数、返回值等信息。
  4. 性能分析： 可以根据收集到的信息进行性能分析，如识别性能瓶颈、分析函数调用关系等。
  5. 用户空间读取/可视化： 可以将性能数据输出到APM工具中进行可视化展示。

3. 使用注意事项与准备

• 技术点：
  • 内核版本： 确保您的Linux内核版本支持eBPF和bpftrace（建议使用4.9或更高版本）。
  • 权限： 运行bpftrace通常需要root权限或CAP_SYS_ADMIN能力。
  • 安全性： 编写bpftrace脚本时要格外小心，避免引入安全漏洞或导致内核崩溃。
  • 性能开销： 虽然eBPF程序通常很高效，但过度使用或编写不当的脚本仍可能导致性能开销。
  • 资源限制： eBPF程序受到内核的资源限制，如内存使用、指令数量等。
• 准备工作：
  • 安装bpftrace： 使用您的Linux发行版的包管理器安装bpftrace。
  • 学习bpftrace DSL： 熟悉bpftrace的语法和内置函数。
  • 了解eBPF基础： 了解eBPF的基本概念和工作原理。
  • 阅读文档： 阅读bpftrace的官方文档和示例。
  • 测试环境： 在测试环境中进行实验，避免影响生产环境。

4. 优化改进

• 性能优化：
  • 减少探针数量： 只跟踪必要的事件，避免不必要的开销。
  • 优化eBPF程序： 使用高效的算法和数据结构，避免循环和复杂计算。
  • 使用过滤器： 尽早过滤掉不需要的数据，减少数据处理量。
  • 聚合数据： 在内核空间进行数据聚合，减少用户空间的数据传输量。
• 功能增强：
  • 更丰富的内置函数： 提供更多的内置函数，方便用户编写脚本。
  • 更好的错误处理： 提供更清晰的错误信息，帮助用户调试脚本。
  • 更强大的可视化： 提供更强大的可视化功能，方便用户分析跟踪数据。
  • 与其他工具集成： 与其他APM工具、日志系统、监控平台集成。
• 安全性增强：
  • 更严格的验证器： 加强eBPF程序的验证，防止恶意代码注入。
  • 资源隔离： 更好地隔离不同eBPF程序，防止相互干扰。

5. 工程化应用

bpftrace可以作为APM、安全监控、系统诊断等工具的核心组件，实现工程化应用。例如：

• APM系统： 将bpftrace集成到APM系统中，实现对应用程序的细粒度性能监控和故障诊断。
• 安全监控平台： 将bpftrace集成到安全监控平台中，实现对系统的实时安全监控和威胁检测。
• 自动化诊断工具： 使用bpftrace编写自动化诊断脚本，自动收集系统信息，诊断常见问题。
• 性能分析工具： 将bpftrace集成到性能分析工具中，实现对系统和应用程序的性能分析和优化。

6. 一线公司应用

• Facebook（Meta）： Facebook是eBPF和bpftrace的主要贡献者之一，广泛应用于其内部的性能监控、故障诊断、安全监控等领域。
• Netflix： Netflix使用bpftrace进行性能分析和故障排除，优化其流媒体服务。
• Google： Google在内部使用eBPF和bpftrace进行系统监控和性能优化。
• Cloudflare： Cloudflare使用eBPF和bpftrace来保护其网络免受DDoS攻击。
• 其他公司： 许多其他科技公司也在使用eBPF和bpftrace，如Microsoft、Red Hat、Intel等。

7. 需要关注的内容

• USDT（User-Level Statically Defined Tracing）：
  • USDT是用户空间程序中预定义的静态跟踪点，类似于内核中的tracepoints。
  • 应用程序开发人员可以在代码中插入USDT探针，方便后续使用bpftrace或其他工具进行跟踪。
  • USDT提供了一种低开销、稳定的跟踪机制，特别适用于APM场景。