当前位置：首页 > news >正文

C# .NETCore ZipArchive 处理大容量文件导致内存占用高的问题

news 来源：原创 2025/6/23 10:15:53

我们有一个文件 API，它定期安排特定路径（驱动器）的存档文件作业以备份数据。从 12 月 11 日起，该应用程序在监控仪表板下占用的内存使用量超过 3GB。

深入研究源代码后，我们可能会发现使用ZipArchive方法的一些潜在问题。首先，我们要确保在处理流处理等管理资源时不会出现问题……其次，我们发现ZipArhcive可以采用不同的模式来处理压缩。因此，我们咨询了最热门的 AI 平台：ChatGPT。

正如AI的答复，存档模式：update会将整个文件内容加载到内存中，这就是我们在压缩大量文件时面临高内存使用率的主要原因。

下面是原始代码部分，我们可以重现 12 月 11 日的内存使用情况：

string SizeConverter(long bytes)
{
var fileSize = new decimal(bytes);
var kilobyte = new decimal(1024);
var megabyte = new decimal(1024 * 1024);
var gigabyte = new decimal(1024 * 1024 * 1024);

switch (fileSize)
{
case var _ when fileSize < kilobyte:
return $"Less then 1KB";
case var _ when fileSize < megabyte:
return $"{Math.Round(fileSize / kilobyte, 0, MidpointRounding.AwayFromZero):##,###.##}KB";
case var _ when fileSize < gigabyte:
return $"{Math.Round(fileSize / megabyte, 2, MidpointRounding.AwayFromZero):##,###.##}MB";
case var _ when fileSize >= gigabyte:
return $"{Math.Round(fileSize / gigabyte, 2, MidpointRounding.AwayFromZero):##,###.##}GB";
default:
return "n/a";
}
}

Process currentProcess = System.Diagnostics.Process.GetCurrentProcess();
"------Start Archive------------".Dump();
currentProcess.Refresh();
SizeConverter(currentProcess.WorkingSet64).Dump();

var T1 = new Thread(() =>
{
var root = @"D:\Temp\Arch\";
var archiveDate = $"archive-{DateTime.Now:yyyyMMdd_HHmmss}.zip";
using var zipToOpen = new FileStream(root + archiveDate, FileMode.OpenOrCreate);
using var archive = new ZipArchive(zipToOpen, ZipArchiveMode.Update, false);

var files = new List<string>()
{
@"C:\Files\A_232MB.zip",
@"C:\Files\B_6MB.exe",
@"C:\Files\C_98MMB.exe",
@"C:\Files\D_3MB.pdf" ,
@"C:\Files\F_82MB.exe"
};

foreach (var relativePath in files)
{
var path = Path.Combine(root, relativePath);
archive.CreateEntryFromFile(path, relativePath);
}

});

T1.Start();

while(true)
{
Thread.Sleep(5000);

$"------After Archive------------{DateTime.Now}".Dump();
currentProcess.Refresh();
SizeConverter(currentProcess.WorkingSet64).Dump();

}