Linux系列:聊一聊 SystemV 下的进程间共享内存
一:背景
1. 讲故事
昨天在分析一个 linux 的 dump 时,看到了这么一话警告,参考如下:
0:000> !eeheap -gc
*** WARNING: Unable to verify timestamp for SYSV10cf21d1 (deleted)
对,就是上面的 SYSV10cf21d1
,拆分一下为 System V + 10cf21d1
,前者的System V
表示共享内存机制,后面的 10cf21d1
表示共享内存中用到的唯一键key,所以这表示当前的 .net 程序直接或者间接的使用了 System V
的进程间共享内存,我对 Linux 不是特别熟悉,所以稍微研究了下就有了这篇文章。
二:System V 研究
1. 什么是进程间通信
其实在 Linux 中有很多中方式进行 IPC(进程间通信),我用大模型帮我做了一下汇总,截图如下:
现如今Linux使用最多的还是 POSIX
标准,而 System V
相对来说比较老,为了研究我们写一个小例子观察下基本实现。
2. System V 的一个小例子
为了能够实现进程间通信,开启两个进程(writer,reader)端,一个是往共享内存写入,一个从共享内存中读取,画个简图如下:
接下来在内存段的首位置设置控制flag
,后面跟着传输的 content
内容,然后创建一个key与申请的内存段进行绑定,参考代码如下:
1)writer.c
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/ipc.h>
#include <sys/shm.h>
#include <unistd.h>#define SHM_SIZE 1024 // 共享内存段大小int main()
{key_t key;int shmid;char *shm_ptr;// 生成key值 - 使用当前目录和项目IDif ((key = ftok(".", 'x')) == -1){perror("ftok");exit(1);}// 创建共享内存段if ((shmid = shmget(key, SHM_SIZE, IPC_CREAT | 0666)) == -1){perror("shmget");exit(1);}// 附加到共享内存if ((shm_ptr = shmat(shmid, NULL, 0)) == (void *)-1){perror("shmat");exit(1);}printf("Writer: 连接到共享内存段 %d\n", shmid);// 第一个字节作为标志位,其余部分存储数据char *flag_ptr = shm_ptr;char *data_ptr = shm_ptr + 1;// 初始化标志位*flag_ptr = 0;// 写入数据到共享内存char message[] = "Hello from writer process!";strncpy(data_ptr, message, sizeof(message));// 设置标志位表示数据已准备好*flag_ptr = 1;printf("Writer: 已写入消息: \"%s\"\n", message);// 等待读取进程完成printf("Writer: 等待读取进程确认...\n");while (*flag_ptr != 2){sleep(1);}// 分离共享内存if (shmdt(shm_ptr) == -1){perror("shmdt");exit(1);}// 删除共享内存段if (shmctl(shmid, IPC_RMID, NULL) == -1){perror("shmctl");exit(1);}printf("Writer: 完成\n");return 0;
}
接下来就是 gcc 编译并运行,参考如下:
root@ubuntu2404:/data2# gcc -g writer.c -o writer
root@ubuntu2404:/data2# ls
writer writer.c
root@ubuntu2404:/data2# ./writer
Writer: 连接到共享内存段 2
Writer: 已写入消息: "Hello from writer process!"
Writer: 等待读取进程确认...
从输出看已经将 "Hello from writer process!"
写到了共享内存,接下来可以用 ipcs -m
观察共享内存段列表,以及虚拟地址段。
root@ubuntu2404:/proc# ipcs -m ------ Shared Memory Segments --------
key shmid owner perms bytes nattch status
0x78030002 3 root 666 1024 1 root@ubuntu2404:/proc# ps -ef | grep writer
root 7711 7593 0 10:41 pts/1 00:00:00 ./writer
root 7714 7618 0 10:41 pts/2 00:00:00 grep --color=auto writer root@ubuntu2404:/proc# cat /proc/7711/maps
5b412c9bc000-5b412c9bd000 r--p 00000000 08:03 1966088 /data2/writer
5b412c9bd000-5b412c9be000 r-xp 00001000 08:03 1966088 /data2/writer
5b412c9be000-5b412c9bf000 r--p 00002000 08:03 1966088 /data2/writer
5b412c9bf000-5b412c9c0000 r--p 00002000 08:03 1966088 /data2/writer
5b412c9c0000-5b412c9c1000 rw-p 00003000 08:03 1966088 /data2/writer
5b415ad13000-5b415ad34000 rw-p 00000000 00:00 0 [heap]
...
7c755ce80000-7c755ce81000 rw-s 00000000 00:01 3 /SYSV78030002 (deleted)
...
ffffffffff600000-ffffffffff601000 --xp 00000000 00:00 0 [vsyscall]
root@ubuntu2404:/proc#
上面输出的 /SYSV78030002 (deleted)
便是,哈哈,现在回头看这句 WARNING: Unable to verify timestamp for SYSV10cf21d1 (deleted)
是不是豁然开朗啦。。。
接下来继续聊,另一个进程要想读取共享内存,需要通过同名的key寻找,即下面的 shmget 方法。
2)reader.c
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/ipc.h>
#include <sys/shm.h>
#include <unistd.h>#define SHM_SIZE 1024 // 共享内存段大小int main()
{key_t key;int shmid;char *shm_ptr;// 生成相同的key值if ((key = ftok(".", 'x')) == -1){perror("ftok");exit(1);}// 获取共享内存段if ((shmid = shmget(key, SHM_SIZE, 0666)) == -1){perror("shmget");exit(1);}// 附加到共享内存if ((shm_ptr = shmat(shmid, NULL, 0)) == (void *)-1){perror("shmat");exit(1);}printf("Reader: 连接到共享内存段 %d\n", shmid);// 第一个字节是标志位,其余是数据char *flag_ptr = shm_ptr;char *data_ptr = shm_ptr + 1;// 等待数据准备好printf("Reader: 等待数据...\n");while (*flag_ptr != 1){sleep(1);}// 读取数据printf("Reader: 接收到消息: \"%s\"\n", data_ptr);// 通知写入进程已完成读取*flag_ptr = 2;// 分离共享内存if (shmdt(shm_ptr) == -1){perror("shmdt");exit(1);}printf("Reader: 完成\n");return 0;
}
如果有朋友对绑定逻辑(shmget)的底层感兴趣,可以观察 Linux 中的 ipcget_public 方法,其中的 rhashtable_lookup_fast 便是。
static int ipcget_public(struct ipc_namespace *ns, struct ipc_ids *ids,const struct ipc_ops *ops, struct ipc_params *params)
{struct kern_ipc_perm *ipcp;int flg = params->flg;int err;/** Take the lock as a writer since we are potentially going to add* a new entry + read locks are not "upgradable"*/down_write(&ids->rwsem);ipcp = ipc_findkey(ids, params->key);...
}static struct kern_ipc_perm *ipc_findkey(struct ipc_ids *ids, key_t key)
{struct kern_ipc_perm *ipcp;ipcp = rhashtable_lookup_fast(&ids->key_ht, &key,ipc_kht_params);if (!ipcp)return NULL;rcu_read_lock();ipc_lock_object(ipcp);return ipcp;
}
最后就是相同方式的编译运行,截一张图如下:
三:总结
哈哈,dump分析之旅就是这样,在分析中不断的学习新知识,再用新知识指导dump分析,就这样的不断的螺旋迭代,乐此不疲。