当前位置：首页 > news >正文

使用.NET标准库实现多任务并行处理的详细过程

news 2025/9/11 7:39:47

在现代软件开发中，高效处理多个任务是一个常见需求。无论是数据处理、网络请求还是计算密集型操作，合理地利用多核CPU的并行处理能力可以显著提升程序性能。.NET平台提供了丰富的内置工具来实现多任务并行处理，无需依赖第三方库。本文将深入探讨如何使用.NET标准库实现高效的多任务并行处理。

核心概念解释

1. 并行与并发的区别

并行(Parallel)是指多个任务真正同时执行，需要多核CPU支持；而并发(Concurrent)是指多个任务交替执行，给人同时执行的错觉。

2. .NET中的并行处理工具

Task Parallel Library (TPL)：提供高级抽象的并行编程模型
Parallel类：简化数据并行和任务并行操作
PLINQ：并行版本的LINQ查询
async/await：用于I/O密集型操作的异步编程模型

使用场景

以下场景特别适合使用并行处理：

大数据集合的处理和转换
计算密集型操作(如图像处理、数值计算)
多个独立网络请求的并行执行
需要同时执行多个独立任务的场景

优缺点分析

优点

充分利用多核CPU资源
提高吞吐量和响应速度
.NET内置支持，无需第三方库
提供多种抽象级别，适合不同场景

缺点

增加代码复杂度
线程安全问题需要特别注意
不适用于所有场景(如顺序依赖的任务)
调试难度增加

实战案例

1. 使用Parallel.For处理数据并行

using System;
using System.Threading.Tasks;
class Program
{static void Main(){int[] data = new int[1000000];// 初始化数据for (int i = 0; i < data.Length; i++){data[i] = i;}// 并行处理Parallel.For(0, data.Length, i => {data[i] = Compute(data[i]);});Console.WriteLine("处理完成");}static int Compute(int value){// 模拟计算密集型操作return (int)(Math.Sqrt(value) * Math.Pow(value, 0.25));}
}

2. 使用PLINQ进行并行查询

using System;
using System.Linq;
class Program
{static void Main(){var source = Enumerable.Range(1, 1000000);// 并行查询var results = source.AsParallel().Where(x => x % 2 == 0).Select(x => Math.Sqrt(x)).ToList();Console.WriteLine($"找到 {results.Count} 个偶数的平方根");}
}

3. 使用Task.WhenAll并行执行多个异步任务

using System;
using System.Net.Http;
using System.Threading.Tasks;
class Program
{static async Task Main(){var urls = new[] {"https://example.com/api/data1","https://example.com/api/data2","https://example.com/api/data3"};var httpClient = new HttpClient();var tasks = urls.Select(url => httpClient.GetStringAsync(url));// 并行执行所有请求var results = await Task.WhenAll(tasks);foreach (var result in results){Console.WriteLine($"获取到数据，长度: {result.Length}");}}
}

4. 带有限制的并行处理

using System;
using System.Threading.Tasks;
class Program
{static async Task Main(){var tasks = Enumerable.Range(1, 100).Select(async i => {await Task.Delay(100); // 模拟I/O操作Console.WriteLine($"处理任务 {i}");return i * 2;});// 限制最大并发数为10var results = await ProcessWithConcurrency(tasks, 10);Console.WriteLine($"处理完成，共 {results.Length} 个结果");}static async Task<T[]> ProcessWithConcurrency<T>(IEnumerable<Task<T>> tasks, int maxConcurrency){var allTasks = new List<Task<T>>();var activeTasks = new HashSet<Task<T>>();foreach (var task in tasks){if (activeTasks.Count >= maxConcurrency){var completed = await Task.WhenAny(activeTasks);activeTasks.Remove(completed);}activeTasks.Add(task);allTasks.Add(task);}return await Task.WhenAll(allTasks);}
}