当前位置：首页 > news >正文

C# BULK INSERT导入大数据文件数据到SqlServer

news 来源：原创 2025/5/2 3:20:53

BULK INSERT 的核心原理

BULK INSERT 是一种通过数据库原生接口高效批量导入数据的技术，其核心原理是绕过逐条插入的 SQL 解析和执行开销，直接将数据以二进制流或批量记录的形式传输到数据库。
在.NET中，主要通过 SqlBulkCopy 类（针对 SQL Server）或 ORM 框架（如 SqlSugar、EF）封装的高效方法实现

NET 中调用 BULK INSERT 的常见方式

直接执行 T-SQL 命令
在 .NET 中可通过 SqlCommand 执行 BULK INSERT 语句，但需确保数据文件路径对 SQL Server 可见（如共享目录或服务器本地路径）：

using (SqlConnection conn = new SqlConnection(connectionString))
{
    conn.Open();
    string sql = @"BULK INSERT MyTable FROM 'C:\data.csv' 
                   with(FIRSTROW=2, FIELDTERMINATOR = ',', ROWTERMINATOR = '\n', MAXERRORS=1000)";
    SqlCommand cmd = new SqlCommand(sql, conn);
    cmd.ExecuteNonQuery();
}

注意：需授予 SQL Server 服务账户对数据文件的读取权限。

使用 SqlBulkCopy 类
.NET 提供 SqlBulkCopy 类，直接从内存数据（如 DataTable 或 IDataReader）批量导入，无需依赖物理文件：

using (var connection = new SqlConnection(connectionString)) 
{
    connection.Open();
    using (var bulkCopy = new SqlBulkCopy(connection)) 
    {
        bulkCopy.DestinationTableName = "Customers";
        bulkCopy.BatchSize = 1000;  // 每批次插入量，优化内存与性能
        bulkCopy.BulkCopyTimeout = 600;  // 超时时间（秒）
        // 列映射（解决字段名不一致问题）
        bulkCopy.ColumnMappings.Add("Id", "CustomerId");
        bulkCopy.ColumnMappings.Add("Name", "CustomerName");
        // 数据转换为 DataTable 或直接读取 IDataReader
        var dataTable = ConvertToDataTable(customers);
        bulkCopy.WriteToServer(dataTable);
    }
}

优势：
客户端处理：无需将数据写入临时文件。
灵活映射：通过 ColumnMappings 处理列顺序不一致问题

ORM 框架的批量操作
Entity Framework (EF)：
使用 AddRange + SaveChanges 实现小批量插入，但超大数据量需依赖第三方库（如 EF Core 的 BulkExtensions）或切换至原生 SqlBulkCopy。
SqlSugar：
提供 Fastest().BulkCopy() 方法，底层封装数据库最佳批量 API（如 SQL Server 的 SqlBulkCopy），简化代码并支持分页处理

db.Fastest<Order>().PageSize(100000).BulkCopy(dataList);

关键参数与优化策略

性能优化
批处理大小（BATCHSIZE）
设置合理的 BATCHSIZE（如 5000-10000 行）以平衡内存占用与事务提交频率6。
表锁（TABLOCK）
添加 WITH (TABLOCK) 减少锁竞争，提升并发导入效率。
禁用约束与触发器
默认情况下 BULK INSERT 忽略约束检查，可通过 CHECK_CONSTRAINTS 和 FIRE_TRIGGERS 按需启用。
错误处理
容错机制
设置 MAXERRORS 参数允许部分数据失败（如 MAXERRORS = 100），避免整体操作中断。
错误日志
通过 ERRORFILE 指定错误文件路径，记录导入失败的行及原因

在这里插入图片描述