当前位置: 首页 > news >正文

#Linux内存管理# 详细介绍madvise函数的工作原理

madvise() 是 Linux 系统提供的 内存访问模式建议机制,允许进程向内核传递内存使用意图,帮助优化内存管理(如预读、缓存释放等)。下面通过一个读取大文件的代码案例详细说明其工作原理:

 

示例场景:顺序读取大文件

#include <fcntl.h>

#include <sys/mman.h>

#include <sys/stat.h>

#include <stdio.h>

#include <unistd.h>

 

int main() {

    int fd = open("large_file.txt", O_RDONLY); // 打开大文件

    struct stat sb;

    fstat(fd, &sb);

    size_t len = sb.st_size; // 文件大小

 

    // 将文件映射到内存 (只读)

    char *addr = mmap(NULL, len, PROT_READ, MAP_PRIVATE, fd, 0);

    close(fd);

 

    // 关键建议:告知内核将顺序访问内存

    madvise(addr, len, MADV_SEQUENTIAL);

 

    // 顺序访问文件内容 (避免换行符干扰计算)

    size_t sum = 0;

    for (size_t i = 0; i < len; i++) {

        if (addr[i] != '\n') sum += addr[i]; // 伪操作示例

    }

 

    // 清理

    munmap(addr, len);

    printf("Data sum: %zu\n", sum);

    return 0;

}

 

 

madvise() 核心工作流程

 

1. 内核预读优化

 

当设置 MADV_SEQUENTIAL 时:

 

内核提前预读后续内存分页(如顺序预读256KB)

 

后台自动释放已访问过的页面(因顺序访问后不再需要)

 

2. 内存管理调整

 

页缓存策略:内核减少对历史页的缓存(标记为低优先级)

 

换页机制:若内存不足,优先换出已访问过的页面

 

3. 系统调用开销对比

 

策略 未用 madvise 使用 MADV_SEQUENTIAL

预读触发 按需4KB读取 提前读取256KB

缺页中断次数 高 (频繁触发) 减少60%~80%

缓存驻留 全文件缓存 仅保留最新访问区块

总耗时 慢 (1.5x) 快 (基准)

 

其他重要策略说明

 

// 常用advice参数及其作用

madvise(addr, len, MADV_RANDOM); // 随机访问(禁用预读)

madvise(addr, len, MADV_WILLNEED); // 提前加载到内存(预取)

madvise(addr, len, MADV_DONTNEED); // 立即释放物理内存

madvise(addr, len, MADV_FREE); // 异步释放(内存不足时自动回收)

 

 

内核底层机制

 

1.缺页中断处理

 

 进程访问未映射的虚拟页 → 触发缺页中断

 

 内核检查 VMA 的 vm_flags (含 madvise 建议)

 

 根据建议选择预读策略(如 MADV_SEQUENTIAL 触发激进预读)

 

2.页面回收机制

 

# 查看内核回收日志(需启用调试)

dmesg | grep "vmscan"

 

 

内核在内存不足时启动回收

 

MADV_SEQUENTIAL 区域标记为 优先回收

 

3.LRU链表调整

 

活动匿名页链表 (Active_anon) ← 新访问页

     ↓

非活动匿名页链表 (Inactive_anon) ← MADV_SEQUENTIAL访问后的页

     ↓

回收器优先选择此链淘汰

 

 

注意事项

 

1.权限要求:地址必须对齐到页边界(sysconf(_SC_PAGE_SIZE))

 

2.异步性:建议可能延迟生效(MADV_DONTNEED 除外)

 

3.性能敏感:在 GB 级数据处理时效果显著,小数据无必要

 

4.监控工具:

perf stat -e page-faults,dTLB-load-misses ./program

 

 

关键结论:madvise() 是 高性能内存访问的隐式调度器,通过改变内核预读/缓存策略降低缺页中断,在流式处理/数据库场景中可提升30%+效率。

http://www.dtcms.com/a/294380.html

相关文章:

  • Elasticsearch(ES)安装
  • 分布式电商系统:缓存策略、负载均衡与容灾方案
  • 解决 Electron 中 window.open 打开新窗口的各种“坑”
  • Python 程序设计讲义(6):Python 的基本用法——运算符与表达式
  • API 汇总:ONLYOFFICE 文档最近更新
  • 背包DP之0/1背包
  • 11-1 浅层神经网络及计算前向传播
  • 局部重要性注意力LIA,通过区域重要性图与门控机制实现高阶信息交互,自适应增强有用特征、抑制冗余信息,平衡模型性能与效率。
  • VR-Doh: 革新3D建模的虚拟现实体验
  • DPVR亮相青岛品牌日,崂山科创力量引领AI眼镜新浪潮
  • 基于PLC的轨检小车控制器设计
  • .NET-键控服务依赖注入
  • 【实战】Dify从0到100进阶--文档解读(13)API前端再开发
  • 苍穹外卖DAY11
  • 【LeetCode数据结构】栈和队列的应用——设计循环队列问题详解
  • 【后端】FastAPI的Pydantic 模型
  • Excel 将数据导入到SQLServer数据库
  • Java TCP 通信详解:从基础到实战,彻底掌握面向连接的网络编程
  • 通用表格识别技术的应用,深刻改变人们处理表格数据的方式
  • 如何最简单、通俗地理解Python的numpy库?
  • Ubuntu22.04.5 LTS安装与使用Docker
  • 【优选算法-多源 BFS】多源 BFS:解决多个起点的广度优先搜索
  • AI语境下创新教学模式应用示范与推广联盟成立| 南开大学携手和鲸,破解智能化时代教育难题
  • 只能在栈上创建对象
  • Linux网络-------1.socket编程基础---(UDP-socket)
  • 广州邮科万兆6光千兆48电工业级光纤交换机:三层功能如何重新定义网络智能化
  • Vue Scoped样式:当动态元素成为“无家可归“的孤儿
  • 2025年云南燃气经营企业从业人员考试题
  • Axios封装以及添加拦截器
  • UniApp X 网络请求避坑指南:从 JS 到 UTS 的 JSON 数据处理全解析