Linux线程概念
目录
一:什么是线程
1.1线程与进程概念
1.2Linux下线程的实现
1.3进程与线程的统一
二:分页式存储管理
2.1虚拟地址和页表的由来
2.2物理内存管理
2.3页表
2.4页目录结构
2.5两级页表的地址转换
2.6缺页异常
三:线程的优点
四:线程的缺点
五:线程异常
六:线程用途
一:什么是线程
在一个程序里的一个执行路线就叫做线程(thread)。更准确的定义是:线程是“一个进程内部的控制序列”
一切进程至少都有一个执行线程。
线程在进程内部运行,本质是在进程地址空间内运行 。
在Linux系统中,在CPU眼中,看到的PCB都要比传统的进程更加轻量化。
透过进程虚拟地址空间,可以看到进程的大部分资源,将进程资源合理分配给每个执行流,就形 成了线程执行流。
1.1线程与进程概念
进程是一个执行起来的程序,进程 = 内核数据结构+代码和数据。进程是横担分配系统资源的实体。
线程:执行流,执行粒度比进程更细。是进程内部的一个执行分支。线程是OS调度的基本单位
1.2Linux下线程的实现
task_struct是进程的,但是在Linux执行流中,统称为轻量级进程LWP。Linux中没有真正意义上的线程,linux的线程概念是用LWP模拟实现的!!!
所以,一个进程要有PCB,但是不一定只有一个PCB,进程 != PCB
线程 = 一个PCB + 对应一块的代码和数据
1.3进程与线程的统一
之前文章里讲解的进程,只不过是内部只有一个分支,即内部只有一个线程
pthread_creat不是系统调用,是用户层的glibc封装的原生库,所以在编译的时候,要带上pthread库
#include <iostream>
#include <pthread.h>
#include <unistd.h>void *run(void *args)
{while (true){std::cout << "new thread, pid : " << getpid() << std::endl;sleep(1);}return nullptr;
}// 新线程
int main()
{std::cout << "我是一个进程,pid : " << std::endl;pthread_t tid;pthread_create(&tid, nullptr, run, (void *)"thread-1");while (true){std::cout << "main thread,pid : " << getpid() << std::endl;sleep(1);}retu
PID == LWP 的就是主线程
上述打印发生错乱的原因,参考上一篇文章中的可重入函数,IO被两个线程重入,发生打印错乱
二:分页式存储管理
2.1虚拟地址和页表的由来
思考⼀下,如果在没有虚拟内存和分页机制的情况下,每⼀个用户程序在物理内存上所对应的空间必须是连续的,如下图:
因为每一个程序的代码、数据长度都是不⼀样的,按照这样的映射方式,物理内存将会被分割成各种离散的、大小不同的块。经过一段运行时间之后,有些程序会退出,那么它们占据的物理内存空间可以被回收,导致这些物理内存都是以很多碎片的形式存在。 怎么办呢?我们希望操作系统提供给用户的空间必须是连续的,但是物理内存最好不要连续。此时虚 拟内存和分页便出现了,如下图所示:
把物理内存按照一个固定的长度的页框进行分割,有时叫做物理页。每个页框包含一个物理页(page)。一个页的大小等于页框的大小。大多数 32位体系结构支持 4KB 的页,而 64位体系结 构一般会支持8KB 的页。区分一页和⼀个页框是很重要的:
页框是一个存储区域; 页是一个数据块,可以存放在任何页框或磁盘中。
有了这种机制,CPU便并非是直接访问物理内存地址,而是通过虚拟地址空间来间接的访问物理内存 地址。所谓的虚拟地址空间,是操作系统为每⼀个正在执行的进程分配的⼀个逻辑地址,在32位机上,其范围从0~4G-1。操作系统通过将虚拟地址空间和物理内存地址之间建立映射关系,也就是页表,这张表上记录了每⼀ 对页和页框的映射关系,能让CPU间接的访问物理内存地址。
总结⼀下,其思想是将虚拟内存下的逻辑地址空间分为若干页,将物理内存空间分为若干页框,通过页表便能把连续的虚拟内存,映射到若干个不连续的物理内存页。这样就解决了使用连续的物理内存造成的碎片问题。
2.2物理内存管理
假设⼀个可用的物理内存有4GB 的空间。按照一个页框的大小4KB 进行划分, 4GB 的空间就是4GB/4KB = 1048576 个页框。有这么多的物理页,操作系统肯定是要将其管理起来的,操作系统 需要知道哪些页正在被使用,哪些页空闲等等。 内核用 struct page 结构表示系统中的每个物理页,出于节省内存的考虑, struct page 中使用了大量的联合体union。
其中比较重要的参数:
1. flags :用来存放页的状态。这些状态包括页是不是脏的,是不是被锁定在内存中等。flag的 每一位单独表示一种状态,所以它至少可以同时表示出32种不同的状态。这些标志定义在中。其中一些比特位非常重要,如PG_locked用于指定页是否锁定, PG_uptodate用于表示页的数据已经从块设备读取并且没有出现错误。
2._mapcount :表示在页表中有多少项指向该页,也就是这一页被引用了多少次。当计数值变 为-1时,就说明当前内核并没有引用这一页,于是在新的分配中就可以使用它。
3. virtual :是页的虚拟地址。通常情况下,它就是页在虚拟内存中的地址。有些内存(即所谓高端内存)并不永久地映射到内核地址空间上。在这种情况下,这个域的值为NULL,需要的时候,必须动态地映射这些页。
要注意的是 struct page 与物理页相关,而并非与虚拟页相关。而系统中的每个物理页都要分配⼀ 个这样的结构体,让我们来算算对所有这些页都这么做,到底要消耗掉多少内存。
算 struct page 占40个字节的内存吧,假定系统的物理页为 4KB 大小,系统有 4GB 物理内存。 那么系统中共有页面1048576 个(1兆个),所以描述这么多页面的page结构体消耗的内存只不过 40MB ,相对系统 4GB 内存而言,仅是很小的⼀部分罢了。因此,要管理系统中这么多物理页面,这个代价并不算太大。
要知道的是,页的大小对于内存利用和系统开销来说非常重要,页太大,页内必然会剩余较大不能利用的空间(页内碎片)。页太小,虽然可以减小页内碎片的大小,但是页太多,会使得页表太长而占用内存,同时系统频繁地进行页转化,加重系统开销。因此,页的大小应该适中,通常为512B - 8KB ,windows/Linux系统的页框大小为4KB。
虚拟地址和物理地址没有关系
可执行程序在磁盘编译的时候是连续编址。放在同一个页框内的物理地址也是连续的;虚拟地址按照页表映射,虚拟地址也是连续的,只要虚拟地址和物理地址都是连续的,它们两个可以通过页表相互转化
2.3页表
页表中的每一个表项,指向一个物理页的开始地址。在 32 位系统中,虚拟内存的最大空间是 4GB , 这是每一个用户程序都拥有的虚拟内存空间。既然需要让 4GB 的虚拟内存全部可用,那么页表中就需要能够表示这所有的 4GB 空间,那么就⼀共需要 4GB/4KB = 1048576 个表项。如下图所示:
虚拟内存看上去被虚线“分割”成⼀个个单元,其实并不是真的分割,虚拟内存仍然是连续的。这个 虚线的单元仅仅表示它与页表中每⼀个表项的映射关系,并最终映射到相同大小的⼀个物理内存页上。 页表中的物理地址,与物理内存之间,是随机的映射关系,哪里可用就指向哪里(物理页)。
虽然最终使用的物理内存是离散的,但是与虚拟内存对应的线性地址是连续的。处理器在访问数据、获取指令 时,使用的都是线性地址,只要它是连续的就可以了,最终都能够通过页表找到实际的物理地址。
假设,在 32 位系统中,地址的长度是 4 个字节,那么页表中的每一个表项就是占用4 个字节。所以页表占据的总空间大小就是: 1048576*4 = 4MB 的大小。也就是说映射表自己,就要占哦用 4MB / 4KB = 1024 个物理页。这会存在哪些问题呢?
当初为什么使用页表,就是要将进程划分为一个个页可以不用连续的存放在物理内存中,但是此时页表就需要1024个连续的页框,似乎和当时的目标有点背道而驰了......
此外,根据局部性原理可知,很多时候进程在⼀段时间内只需要访问某几个页就可以正常运行了。因此也没有必要⼀次让所有的物理页都常驻内存。
解决需要大容量页表的最好方法是:把页表看成普通的文件,对它进行离散分配,即对页表再分页, 由此形成多级页表的思想。 为了解决这个问题,可以把这个单一页表拆分成 1024 个体积更小的映射表。这样一来,1024(每个表中的表项个数)*1024(表的个数),仍然可以覆盖 4GB 的物理内存空间。
一共有 1024 个页表,一个页表自身占用4KB ,那么 1024 个页表⼀共就占用了 4MB 的物理内存空间,和之前没差别啊?
从总数上看是这样,但是一个应用程序是不可能完全使用全部的4GB空间的,也许只要几十个页表就可以了。例如:一个用户程序的代码段、数据段、栈段,⼀共就需要10MB 的空间,那么使用3 个页表就足够了。
计算过程: 每一个页表项指向⼀个4KB的物理页,那么一个页表中1024个页表项,一共能覆盖4MB的物理内存;那么10MB的程序,向上对齐取整之后(4MB的倍数,就是12MB),就需要3个页表就可以了。
2.4页目录结构
到目前为止,每⼀个页框都被⼀个页表中的一个表项来指向了,那么这 1024 个页表也需要被管理起来。管理页表的表称之为页目录表,形成二级页表。
所有页表的物理地址被页目录表项指向
页目录的物理地址被 CR3 寄存器指向,这个寄存器中,保存了当前正在执行任务的页目录地址。
所以操作系统在加载用户程序的时候,不仅仅需要为程序内容来分配物理内存,还需要为用来保存程序的页目录和页表分配物理内存。
2.5两级页表的地址转换
下面以一个逻辑地址为例。
将逻辑地址( 0000000000,0000000001,11111111111 )转换为物理地址的过程:
1. 在32位处理器中,采用4KB的页大小,则虚拟地址中低12位为页偏移,剩下高20位给页表,分成两级,每个级别占10个bit(10+10)。
2. CR3 寄存器读取页目录起始地址,再根据一级页号查页目录表,找到下一级页表在物理内存中 存放位置。
3. 根据二级页号查表,找到最终想要访问的内存块号。
4. 结合页内偏移量得到物理地址。
5. 注:一个物理页的地址一定是 4KB 对齐的,所以其实只需要记录物理页地址的高20位即可。页表中后面剩余的12位是R/W U/K权限等,权限是加载程序的时候设置的,可执行程序要把代码段,数据段划分好
6. 以上其实就是MMU的工作流程。MMU(Memory Manage Unit)是一种硬件电路,其速度很快, 主要工作是进行内存管理,地址转换只是它承接的业务之一。
到这里其实还有个问题,MMU要先进行两次页表查询确定物理地址,在确认了权限等问题后,MMU再将这个物理地址发送到总线,内存收到之后开始读取对应地址的数据并返回。那么当页表变为N级时, 就变成了N次检索+1次读写。可见,页表级数越多查询的步骤越多,对于CPU来说等待时间越长,效率 越低。
总结:单级页表对连续内存要求高,于是引入了多级页表,但是多级页表也是一把双 刃剑,在减少连续存储要求且减少存储空间的同时降低了查询效率。
有没有提升效率的办法呢?计算机科学中的所有问题,都可以通过添加一个中间层来解决。 MMU 引入了新武器,快表:TLB (其实,就是缓存,Translation Lookaside Buffer,学名转译后备 缓冲器)
当CPU 给 MMU 传新虚拟地址之后, MMU 先去问 TLB 那边有没有,如果有就直接拿到物理地址发到总线给内容。但TLB 容量较小,难免发生Cache Miss ,这时候 MMU 还有保底的武器页表,在页表中找到之后 MMU 除了把地址发到总线传给内存,还把这条映射关系给到TLB,让它记录 ⼀下刷新缓存。
虚拟地址到物理地址转换条件:
1.当前进程页表(CR3)
2.入口虚拟地址(EIP)
MMU做虚拟到物理的转换,CPU中集成了MMU,而MMU的这个结构决定了有页表;此功能可以由软件来做,但是软件做会很慢,由IO的时间耗费,而硬件没有IO,所以硬件比较合适,而且MMU的结构不会太复杂
TCB:缓存虚拟到物理的映射
cache:缓存代码和数据块
2.6缺页异常
设想,CPU给MMU的虚拟地址,在 TLB 和页表都没有找到对应的物理页,该怎么办呢?
其实这就是 缺页异常 Page Fault ,它是⼀个由硬件中断触发的可以由软件逻辑纠正的错误。
假如目标内存页在物理内存中没有对应的物理页或者存在但无对应权限,CPU就无法获取数据,这种情况下CPU就会报告一个缺页错误。由于CPU没有数据就无法进行计算,CPU罢工了用户进程也就出现了缺页中断,进程会从用户态切换到内核态,并将缺页中断交给内核的Page Fault Handler 处理。
缺页中断会交给 PageFaultHandler 处理,其根据缺页中断的不同类型会进行不同的处理:
1.Hard Page Fault 也被称为 Major Page Fault ,翻译为硬缺页错误/主要缺页错误,这时物理内存中没有对应的物理页,需要CPU打开磁盘设备读取到物理内存中,再让MMU建立虚拟地址和物理地址的映射。
2.Soft Page Fault 也被称为 Minor Page Fault ,翻译为软缺页错误/次要缺页错误,这时物理内存中是存在对应物理页的,只不过可能是其他进程调入的,发出缺页异常的进程不知道而已,此时MMU只需要建立映射即可,无需从磁盘读取写入内存,一般出现在多进程共享内存区域。
3.Invalid Page Fault 翻译为无效缺页错误,比如进程访问的内存地址越界访问,比如对空指针解引用内核就会报 segment fault 错误中断进程直接挂掉。
1.如何理解我们之前的 new和malloc ?
申请虚拟空间或者堆区扩容,维护页表关系,用的时候再缺页中断,然后在物理内存上开辟空间
2.如何理解我们之前学习的写时拷贝?
把数据改为只读,有几个指向页表,page引用++
3.申请内存,究竟是在干什么?
申请虚拟空间地址 && 维护页表关系
如何区分是缺页了,还是真的越界了?越界了⼀定会报错吗?
1. 页号合法性检查:操作系统在处理中断或异常时,首先检查触发事件的虚拟地址的页号是 否合法。如果页号合法但页面不在内存中,则为缺页中断;如果页号非法,则为越界访问。 2. 内存映射检查:操作系统还可以检查触发事件的虚拟地址是否在当前进程的内存映射范围 内。如果地址在映射范围内但页面不在内存中,则为缺页中断;如果地址不在映射范围 内,则为越界访问。
线程资源划分的真相:只要将虚拟地址空间进行划分,进程资源就天然被划分好了。
三:线程的优点
1. 创建⼀个新线程的代价要比创建⼀个新进程小得多
2.与进程之间的切换相比,线程之间的切换需要操作系统做的工作要少很多:
2.1.最主要的区别是线程的切换虚拟内存空间依然是相同的,但是进程切换是不同的。这两种上下文切换的处理都是通过操作系统内核来完成的。内核的这种切换过程伴随的最显著的性能损耗是将寄存器中的内容切换出。
2.2另外⼀个隐藏的损耗是上下文的切换会扰乱处理器的缓存机制。简单的说,一旦去切换上下 文,处理器中所有已经缓存的内存地址⼀瞬间都作废了。还有⼀个显著的区别是当你改变虚 拟内存空间的时候,处理页表缓冲 TLB (快表)会被全部刷新,这将导致内存的访问在一段时间内相当的低效。但是在线程的切换中,不会出现这个问题,当然还有硬件cache。
3.线程占用的资源要比进程少
4.能充分利用多处理器的可并行数量
5.在等待慢速I/O操作结束的同时,程序可执行其他的计算任务
6.计算密集型应用,为了能在多处理器系统上运行,将计算分解到多个线程中实现
7.I/O密集型应用,为了提高性能,将I/O操作重叠。线程可以同时等待不同的I/O操作。
四:线程的缺点
1.性能损失 : 一个很少被外部事件阻塞的计算密集型线程往往无法与其它线程共享同一个处理器。如果计算密集型线程的数量比可用的处理器多,那么可能会有较大的性能损失,这里的性能损失指的是增加了额外的同步和调度开销,而可用的资源不变。
2.健壮性降低 : 编写多线程需要更全面更深入的考虑,在⼀个多线程程序里,因时间分配上的细微偏差或者因共享了不该共享的变量而造成不良影响的可能性是很大的,换句话说线程之间是缺乏保护的。
3.缺乏访问控制 :进程是访问控制的基本粒度,在一个线程中调用某些OS函数会对整个进程造成影响。
4. 编程难度提高: 编写与调试⼀个多线程程序比单线程程序困难得多
五:线程异常
单个线程如果出现除零,野指针问题导致线程崩溃,进程也会随着崩溃
线程是进程的执行分支,线程出异常,就类似进程出异常,进而触发信号机制,终止进程,进程 终止,该进程内的所有线程也就随即退出
六:线程用途
合理的使用多线程,能提高CPU密集型程序的执行效率
合理的使用多线程,能提高IO密集型程序的用户体验(如生活中我们一边写代码⼀边下载开发工具,就是多线程运行的⼀种表现)