当前位置：首页 > wzjs >正文

天津国际工程建设监理公司网站网站建设包含内容

wzjs 2025/9/21 23:42:27

天津国际工程建设监理公司网站,网站建设包含内容,免费搭建平台网站,网站开发周总结在 C# 中高效读取大文件时，需根据文件类型和场景选择不同的技术方案，以下为综合实践方法及注意事项： 一、文本文件读取方案逐行读取 StreamReader.ReadLine‌：通过流式处理逐行加载文本，避免一次性加载整个文件到内…

在 C# 中高效读取大文件时，需根据文件类型和场景选择不同的技术方案，以下为综合实践方法及注意事项：

一、文本文件读取方案

逐行读取

StreamReader.ReadLine‌：通过流式处理逐行加载文本，避免一次性加载整个文件到内存，适合超大文本文件（如日志文件）。

using (StreamReader sr = new StreamReader("file.txt", Encoding.UTF8, bufferSize: 1024*1024))
{
string line;
while ((line = sr.ReadLine()) != null)
{
// 处理每行数据
}
}

File.ReadLines()：返回 IEnumerable<string> 实现惰性加载，语法简洁但需注意异常处理（如文件不存在时抛出 FileNotFoundException）。

分批次处理

结合数据库事务分批入库（如每 1 万条提交一次），减少内存峰值和 I/O 压力：

List<string> batch = new List<string>(10000);
while ((line = sr.ReadLine()) != null)
{
batch.Add(line);
if (batch.Count >= 10000)
{
InsertToDatabase(batch);
batch.Clear();
}
}

二、二进制文件读取方案

FileStream + 字节数组

直接操作字节流，适合非文本文件（如图像、音视频）：

using (FileStream fs = new FileStream("file.bin", FileMode.Open))
{
byte[] buffer = new byte[4096];
int bytesRead;
while ((bytesRead = fs.Read(buffer, 0, buffer.Length)) > 0)
{
// 处理二进制数据块
}
}

BufferedStream 加速

对底层流添加缓冲区（默认 4KB），减少直接访问存储设备的频率，提升 I/O 效率。