Linux多核调度：解锁CPU潜能的密码

在当今数字化浪潮中，计算机性能成为推动各领域发展的关键引擎。从智能手机到超级计算机，从日常办公到复杂科学计算，对计算速度和效率的追求永无止境。而多核处理器的出现，如同一股强劲的动力，为计算机性能的提升开辟了新的道路。接下来，就让我们深入探究 Linux 在多核调度方面的奥秘，看看它是如何在多核时代的舞台上大放异彩的。

一、多核调度概述

多核处理器，简单来说，就是在一个芯片上集成多个独立的计算核心，每个核心都能独立执行任务 。这就好比一支拥有多个成员的团队，每个成员都能各司其职，同时处理不同的事务，大大提高了整体的工作效率。与传统单核处理器相比，多核处理器在处理多任务时优势明显。

当我们在电脑上同时打开多个应用程序，如浏览器、文档编辑软件、音乐播放器等，多核处理器可以让每个应用程序分配到一个或多个核心，实现真正意义上的并行处理，避免了单核处理器时代的任务 “排队等待” 现象，使得系统响应更加迅速，用户体验得到极大提升。

在服务器领域，多核处理器的作用更是举足轻重。随着云计算、大数据等技术的蓬勃发展，服务器需要同时处理海量的用户请求和数据存储、分析任务。多核处理器能够充分利用其并行计算能力，快速响应这些请求，确保服务的稳定运行。例如，在大型电商平台的购物高峰期，服务器需要处理数以万计的订单提交、商品查询等请求，多核处理器可以高效地分配这些任务到各个核心，保障交易的顺畅进行，避免出现卡顿甚至系统崩溃的情况。

而在这多核的时代，Linux 操作系统作为开源世界的中流砥柱，其调度机制在充分发挥多核处理器性能方面扮演着至关重要的角色。Linux 调度器就像是一位经验丰富的指挥官，负责合理分配 CPU 资源给各个进程和线程。它需要考虑诸多因素，如进程的优先级、任务类型（是 CPU 密集型还是 I/O 密集型）、系统的整体负载等，以确保系统的高效运行和公平性。例如，对于一个紧急的系统任务，调度器会优先分配 CPU 资源，保证其及时完成；而对于一些后台的低优先级任务，则会在系统资源空闲时才进行处理。

在多核环境下，Linux 调度面临着前所未有的挑战和机遇。如何实现跨核心的任务均衡分配，避免出现 “一核有难，多核围观” 的尴尬局面，是调度器需要解决的关键问题之一。同时，还要考虑不同核心之间的缓存一致性、通信开销等问题，以充分发挥多核的协同效应。

二、Linux多核调度的基本原理

多核处理器是一种具有多个CPU核心的硬件设计。在软件层面，操作系统负责资源的分配和调度。在多核处理器上进行调度时，首先需要确定进程在哪个核心运行，以及如何选择需要运行的进程。在进行资源分配和调度决策时，有以下三个基本原则：

• 尽量平均分配处理器时间：确保每个进程都能够获得平均的CPU时间，避免某个进程长时间占用CPU资源，导致其他进程无法运行。

• 2优先保证进程的响应时间：尽量避免让用户感受到系统响应缓慢，选择对用户较重要的进程进行优先调度。

• 尽量减少进程切换次数：进程切换需要耗费一定的系统资源，过多的切换次数会降低系统的性能。

基于这些原则，Linux系统采用了多种不同的调度算法。

2.1调度实体与运行队列

在 Linux 的多核调度体系中，调度实体是一个至关重要的概念。简单来说，调度实体可以看作是系统中等待 CPU 资源的基本单元，它可能是一个进程，也可能是一个线程 。每个调度实体都拥有自己的属性和状态信息，如优先级、运行时间、等待时间等，这些信息对于调度器来说是进行资源分配的重要依据。例如，一个正在运行的应用程序进程就是一个调度实体，它需要 CPU 的时间来执行各种计算任务，而调度器会根据其优先级等因素来决定何时为其分配 CPU 资源。

在多核环境下，每个 CPU 核心都拥有自己的运行队列。运行队列就像是一个任务等待执行的 “候车室”，所有等待在这个 CPU 核心上运行的调度实体都会被放入这个队列中。当 CPU 核心空闲时，它会从运行队列中选择一个合适的调度实体来执行。调度实体进入运行队列的顺序并非随意，而是依据多种因素来确定的。其中，任务的优先级起着关键作用。

高优先级的任务通常会被优先放入运行队列的前端，以确保它们能够尽快获得 CPU 资源。这就好比在火车站的售票窗口，持有 VIP 票的乘客可以优先购票，减少等待时间。除了优先级，任务的类型也会影响其入队顺序。例如，对于一些实时性要求较高的任务，如音频和视频处理任务，它们需要在特定的时间内完成处理，否则会影响用户体验，所以这类任务也会被优先安排进入运行队列，以便及时得到 CPU 的处理。

2.2调度算法核心：CFS与RT调度

在 Linux 的调度算法家族中，完全公平调度算法（CFS）占据着核心地位。CFS 的设计理念十分巧妙，它旨在为系统中的每个任务提供公平的 CPU 时间分配。在 CFS 的世界里，每个任务都被赋予了一个虚拟运行时间（vruntime）。这个虚拟运行时间并不是真正的物理时间，而是一个根据任务的权重和实际运行时间计算出来的虚拟值。权重较高的任务，其 vruntime 增长速度相对较慢，这意味着它们在相同的物理时间内能够获得更多的 CPU 执行时间；而权重较低的任务，vruntime 增长速度较快，从而保证了各个任务在整体上能够公平地分享 CPU 资源。

为了实现这种公平的调度，CFS 使用了红黑树这一数据结构来管理任务。红黑树是一种平衡二叉搜索树，它具有高效的查找、插入和删除操作性能。在 CFS 中，所有任务的调度实体都按照其 vruntime 值插入到红黑树中。当 CPU 需要选择下一个任务执行时，调度器会从红黑树中选取 vruntime 最小的调度实体，这就保证了那些之前获得 CPU 时间较少的任务能够优先得到执行，体现了 “完全公平” 的原则。

例如，假设有两个任务 A 和 B，任务 A 的权重为 2，任务 B 的权重为 1。在一段时间内，任务 A 执行了 10ms，任务 B 执行了 5ms。根据 CFS 的计算规则，任务 A 的 vruntime 增长速度相对较慢，而任务 B 的 vruntime 增长速度相对较快。当调度器再次进行任务选择时，由于任务 B 的 vruntime 相对较小，所以它会被优先选中执行，从而保证了两个任务在 CPU 时间分配上的公平性。

而实时调度（RT）则是针对那些对时间要求极为严格的任务而设计的。在实时系统中，如工业控制系统、航空航天领域等，任务必须在规定的时间内完成，否则可能会导致严重的后果。RT 调度的特点就在于它能够为实时任务提供确定性的调度保证，确保这些任务能够在可预测的时间内获得 CPU 资源并完成执行。

RT 调度采用了优先级驱动的调度策略，实时任务被赋予了较高的优先级，这些优先级通常是在任务创建时就确定好的。在调度过程中，只要有实时任务处于就绪状态，调度器就会优先选择它们执行，而忽略普通任务，直到所有实时任务都完成或者进入等待状态。RT 调度还支持两种常见的调度策略：先进先出（FIFO）和轮询（RR）。

FIFO 策略下，实时任务按照进入就绪队列的先后顺序依次执行，一旦一个任务开始执行，它将一直运行直到完成或者主动放弃 CPU；而 RR 策略则为每个实时任务分配一个时间片，当时间片用完后，任务会被重新放入就绪队列的末尾，等待下一轮调度。这样可以确保多个优先级相同的实时任务都有机会得到执行，提高了实时系统的公平性和响应性。例如，在一个工业自动化生产线中，控制机器人运动的实时任务必须在极短的时间内完成对传感器数据的处理和控制指令的发送，RT 调度就能够保证这些任务在规定的时间内得到执行，确保生产线的稳定运行。

2.3多核处理器调度算法的优化

为了提高系统的性能，可以对调度算法进行一些优化：

• 使用亲和掩码（Affinity Mask）：亲和掩码可以指定进程运行的CPU核心，避免进程在不同的CPU核心之间切换导致的性能下降。可以将CPU核心分配给不同的进程，避免因为多个进程共享一个核心而导致的性能瓶颈。

• 动态调整进程的优先级：根据进程的运行状态和响应速度，可以动态地调整进程的优先级。例如，对于长时间运行的进程，可以逐渐降低其优先级，以释放CPU资源。

• 多核心亲和性调度：多核心亲和性调度是一种可以提高多核处理器性能的优化方法。该方法会将同一进程的不同线程调度到同一个CPU核心上运行，避免线程之间的切换，从而提高系统的

• 性能。

三、多核调度中的负载均衡

3.1负载均衡机制剖析

在多核系统中，负载均衡就像是一场精密的舞蹈，确保每个 CPU 核心都能充分发挥其效能，避免出现资源浪费或过度负载的情况。Linux 内核通过一系列巧妙的机制来实现这一目标。

内核会实时检测各 CPU 核心的负载情况。它会统计每个核心上运行的进程数量、进程的活跃度以及它们占用 CPU 的时间等信息 。通过这些数据，内核能够准确地判断出每个核心的负载程度。例如，内核会维护一个运行队列长度的统计值，运行队列中等待执行的进程越多，说明该核心的负载可能越高。内核还会考虑进程的优先级等因素，高优先级进程的存在可能会对核心的负载产生更大的影响。

那么，负载均衡是如何触发的呢？

当 CPU 核心处于空闲状态时，这是一个明显的触发信号。想象一下，一个工人（CPU 核心）无所事事，而其他工人却忙得不可开交，这时就需要将一些工作（进程）分配给这个空闲的工人，以实现工作的均衡分配。当系统检测到不同 CPU 核心之间的负载差距过大时，也会触发负载均衡机制。比如，一个核心的负载达到了 80%，而另一个核心的负载仅为 20%，这种巨大的差距会促使内核采取行动，将负载较高核心上的部分进程迁移到负载较低的核心上，从而使整个系统的负载更加均衡。

如何做负载均衡？

负载均衡不是一个全局CPU之间的均衡，实际上那样做也不现实，当系统的CPU数量较大的时候，很难一次性的完成所有CPU之间的均衡，这也是提出sched domain的原因之一。我们以周期性均衡为例来描述负载均衡的基本过程。当一个CPU上进行周期性负载均衡的时候，我们总是从base domain开始（对于上面的例子，base domain就是MC domain），检查其所属sched group之间（即各个cpu之间）的负载均衡情况，如果有不均衡情况，那么会在该cpu所属cluster之间进行迁移，以便维护cluster内各个cpu core的任务负载均衡。

负载均衡有两种方式：pull, push

• pull拉：负载轻的CPU，从负载繁重的CPU pull tasks来运行。这应该是主要的方式，因为不应该让负载本身就繁重的CPU执行负载均衡任务。相应的为load balance。

• push推：负载重的CPU，向负载轻的CPU，推送tasks由其帮忙执行。相应的为active balance。

但是迁移是有代价的。在同一个物理CPU的两个logical core之间迁移，因为共享cache，代价相对较小。如果是在两个物理CPU之间迁移，代价就会增大。更进一步，对于NUMA系统，在不同node之间的迁移将带来更大的损失。这其实形成了一个调度上的约束，在Linux中被实现为"sched domain"，并以hierarchy的形式组织。处于同一内层domain的，迁移可以更频繁地进行，越往外层，迁移则应尽可能地避免。

有了各个CPU上的负载统计以及CPU的算力信息，我们很容易知道MC domain上的不均衡情况。为了让算法更加简单，Linux内核的负载均衡算法只允许CPU拉任务，这样，MC domain的均衡大致需要下面几个步骤：

• （1）找到MC domain中最繁忙的sched group

• （2）找到最繁忙sched group中最繁忙的CPU（对于MC domain而言，这一步不存在，毕竟其sched group只有一个cpu）

• （3）从选中的那个繁忙的cpu上拉取任务，具体拉取多少的任务到本CPU runqueue上是和不均衡的程度相关，越是不均衡，拉取的任务越多。

完成MC domain均衡之后，继续沿着sched domain层级结构向上检查，进入DIE domain，在这个level的domain上，我们仍然检查其所属sched group之间（即各个cluster之间）的负载均衡情况，如果有不均衡的情况，那么会进行inter-cluster的任务迁移。基本方法和MC domain类似，只不过在计算均衡的时候，DIE domain不再考虑单个CPU的负载和算力，它考虑的是：

• （1）该sched group的负载，即sched group中所有CPU负载之和

• （2）该sched group的算力，即sched group中所有CPU算力之和

3.2均衡策略：主动与被动

在 Linux 的多核调度中，负载均衡策略分为主动和被动两种方式，它们相互配合，共同保障系统的高效运行。

主动负载均衡就像是积极主动的 “求职者”，当一个 CPU 核心空闲时，它会主动去寻找工作。具体来说，空闲的核心会从其他繁忙的核心的运行队列中拉取任务。例如，在一个多线程的应用程序中，线程 A 原本在核心 1 上运行，核心 2 处于空闲状态。当核心 2 检测到自己空闲后，它会从核心 1 的运行队列中挑选一个合适的线程（比如线程 B），将其拉取到自己的运行队列中执行。这样一来，核心 2 就充分利用了空闲时间，同时也减轻了核心 1 的负载，提高了整个系统的处理效率。

而被动负载均衡则更像是 “分配工作” 的过程。当一个 CPU 核心的负载过高，变得非常繁忙时，它会将自己运行队列中的一些任务推送给其他负载较低的核心 。比如，在一个服务器系统中，核心 3 突然收到大量的网络请求，导致其负载急剧上升。为了避免自身负载过高而影响性能，核心 3 会将一些非关键的任务（如一些后台数据处理任务）推送给负载相对较低的核心 4。核心 4 接收这些任务后，会按照自己的调度策略进行处理。这种被动负载均衡方式能够有效地防止某个核心因为负载过重而出现性能瓶颈，确保系统的稳定性和响应速度。

四、多核调度难题与突破

4.1能耗与散热困境

随着多核处理器的性能不断提升，能耗和散热问题也日益凸显，成为了制约其进一步发展的重要因素 。在多核系统中，每个核心在运行时都会消耗电能，并且产生热量。当多个核心同时高负载运行时，能耗会急剧增加，散热压力也随之增大。

以数据中心为例，大量的服务器采用多核处理器来满足海量数据处理和高并发访问的需求。这些服务器在长时间运行过程中，其能耗成本相当可观。据统计，一个中等规模的数据中心，每年的电费支出可能高达数百万甚至上千万元。而且，过高的能耗还会导致设备的运行成本增加，降低能源利用效率，不符合可持续发展的理念。

散热问题同样不容忽视。如果不能及时有效地将多核处理器产生的热量散发出去，就会导致处理器温度过高。而高温环境不仅会影响处理器的性能，使其运行速度变慢，还可能对硬件造成损坏，缩短设备的使用寿命。当处理器温度超过一定阈值时，它会自动降低运行频率，以减少热量产生，这就是我们常说的 “降频” 现象。降频会导致系统性能大幅下降，无法满足用户对高性能计算的需求。例如，在进行大规模科学计算或者运行复杂的图形渲染任务时，一旦处理器因散热问题而降频，计算时间会大幅延长，严重影响工作效率。

为了解决这些问题，Linux 采取了一系列的节能技术，其中动态调频调压（DVFS）技术尤为关键。DVFS 技术的原理是根据系统的负载情况，动态地调整处理器的工作频率和电压。当系统负载较低时，降低处理器的频率和电压，这样可以减少能耗和热量产生；而当系统负载较高时，提高频率和电压，以满足性能需求。

比如，在我们日常使用电脑办公时，当只运行一些简单的文字处理软件和浏览器等轻量级应用时，系统负载较低，此时 Linux 调度器会通过 DVFS 技术降低处理器的频率和电压，使处理器在低功耗状态下运行，不仅节省了电能，还减少了散热负担。而当我们运行大型游戏或者进行视频编辑等对性能要求较高的任务时，调度器会自动提高处理器的频率和电压，确保系统能够提供足够的性能支持，同时也会相应地增加散热措施，如提高风扇转速等，以保证处理器在合适的温度范围内工作。

4.2调度算法优化之路

在多核环境下，传统的调度算法面临着诸多挑战，暴露出了一些不足之处。传统调度算法在设计时，主要是针对单核处理器或者较少核心的处理器架构，其在任务分配和负载均衡方面的策略难以充分发挥多核处理器的优势。

以先来先服务（FCFS）调度算法为例，它按照任务到达的先后顺序进行调度。在单核环境下，这种算法简单直观，能够保证任务的公平性。但在多核环境中，它可能会导致一些问题。假设一个 CPU 密集型的长任务先到达，按照 FCFS 算法，它会占用 CPU 资源一直运行，而此时其他核心可能处于空闲状态，同时一些短任务和 I/O 密集型任务却在等待执行，这就造成了资源的浪费和系统整体效率的低下。因为 I/O 密集型任务在等待 I/O 操作完成的过程中，CPU 处于空闲状态，而其他核心却不能及时利用这些空闲时间来处理其他任务。

为了应对这些挑战，Linux 不断改进和优化调度算法，其中 PELT（Per-entity load tracking）和 WALT（Window-Assisted Load Tracking）等算法展现出了独特的优势。

PELT 算法的核心是将 CPU 负载计算细化到每个调度实体。它不仅能了解每个任务或任务组对系统负载的贡献，还能根据这些信息更精确地进行 CPU 之间的负载均衡处理 。通过 PELT 算法，系统可以知道每个 CPU 的负载情况，从而推算出某一个任务迁移后的情况，使得负载均衡措施更加有效。在一个多任务的系统中，PELT 算法可以实时监测每个任务的负载情况，当发现某个 CPU 核心负载过高，而其他核心负载较低时，它会智能地将部分任务从高负载核心迁移到低负载核心，实现负载的均衡分配，提高系统的整体性能。

而 WALT 算法则是由 Qcom 研发，主要应用于对性能功耗要求较高的移动设备场景。它通过把时间划分为窗口，对 task 运行时间和 CPU 负载进行跟踪计算，能更及时地反映负载变化。在移动设备中，用户的操作具有很强的交互性，应用程序需要快速响应。WALT 算法能够快速捕捉到负载的增加和减少，从而驱动频点及时变化。当用户打开一个大型游戏时，WALT 算法可以迅速检测到负载的突然增加，及时调整 CPU 频率，保证游戏的流畅运行；而当用户切换到简单的桌面操作时，它又能及时降低 CPU 频率，减少功耗，延长电池续航时间 。

这些改进算法的出现，为 Linux 在多核调度领域带来了新的活力，使得系统能够更加高效地利用多核处理器的资源，提升整体性能，满足不同场景下的应用需求。

五、多核调度在不同场景的表现

5.1服务器领域：高效稳定的基石

在服务器领域，多核调度犹如坚固的基石，支撑着整个系统的高效稳定运行。随着互联网的飞速发展，各类网络服务如潮水般涌来，服务器面临着前所未有的高并发请求挑战。

以大型电商平台为例，在购物狂欢节期间，如 “双十一”，服务器需要同时处理数以亿计的用户请求，包括商品浏览、下单、支付等操作 。这些请求具有突发性和密集性的特点，对服务器的处理能力提出了极高的要求。Linux 的多核调度机制在此时发挥着关键作用。它能够快速地将这些并发请求分配到各个 CPU 核心上进行处理，确保每个请求都能得到及时响应。通过合理的任务调度和负载均衡，避免了单个核心因过载而导致的性能下降，保障了电商平台在高流量下的稳定运行，让用户能够顺畅地进行购物，极大地提升了用户体验。

再看搜索引擎服务器，它需要实时处理海量的搜索请求，并在极短的时间内返回准确的搜索结果。多核调度使得搜索引擎服务器能够并行处理多个搜索任务，快速检索庞大的索引数据库，提高搜索效率。当用户在浏览器中输入关键词进行搜索时，服务器的多核处理器可以同时对不同的数据块进行检索和匹配，然后将结果汇总返回给用户，实现了快速响应，满足了用户对信息获取的及时性需求。

5.2嵌入式系统：小身材大能量

在资源受限的嵌入式系统中，多核调度同样展现出了强大的实力，可谓是 “小身材大能量”。嵌入式系统广泛应用于智能家居、工业控制、医疗设备等领域，这些应用对系统的实时性和低功耗要求极为严格。

在智能家居系统中，各种智能设备如智能摄像头、智能门锁、智能音箱等都采用了嵌入式系统 。以智能摄像头为例，它需要实时采集视频数据，并对视频中的图像进行分析处理，如人脸识别、运动检测等。由于嵌入式系统的硬件资源有限，如处理器性能、内存容量等相对较小，多核调度就显得尤为重要。它可以将视频采集、图像处理等任务合理地分配到不同的核心上，在满足实时性要求的同时，尽可能降低功耗。通过多核调度，智能摄像头能够在低功耗状态下持续运行，实现 24 小时不间断监控，并且能够快速准确地识别出人脸，及时向用户发送警报信息，为家庭安全提供了可靠保障。

在工业控制领域，嵌入式系统用于控制各种工业设备，如机器人、自动化生产线等。这些设备的运行需要高度的实时性和稳定性，一旦出现故障，可能会导致严重的生产事故。多核调度可以确保工业控制任务的及时执行，例如，在机器人的运动控制中，多核处理器的不同核心可以分别负责处理传感器数据、计算运动轨迹和控制电机动作等任务，实现机器人的精确运动控制，提高生产效率和产品质量 。同时，通过优化调度算法，降低系统功耗，减少能源消耗，符合工业生产的可持续发展要求。