跳过 SqlBulkCopy 中的一些列

Question

我正在使用SqlBulkCopy 对两个具有不同列集的SQL Server 2008（将一些数据从prod 服务器移动到dev）。所以想跳过一些尚不存在/尚未删除的列。

我该怎么做？ ColumnMappings 的一些技巧？

编辑：

接下来我做：

DataTable table = new DataTable();
using (var adapter = new SqlDataAdapter(sourceCommand))
{
    adapter.Fill(table);
}

table.Columns
    .OfType<DataColumn>()
    .ForEach(c => bulk.ColumnMappings.Add(
        new SqlBulkCopyColumnMapping(c.ColumnName, c.ColumnName)));

bulk.WriteToServer(table)

然后得到：

给定的 ColumnMapping 与源或目标中的任何列都不匹配。

Answer 1

DataTable table = new DataTable();
using (var adapter = new SqlDataAdapter(sourceCommand))
{
    adapter.Fill(table);
}

using (SqlBulkCopy bulk = new SqlBulkCopy(targetConnection, SqlBulkCopyOptions.KeepIdentity, null) { DestinationTableName = tableName })
{
    foreach (string columnName in GetMapping(stringSource, stringTarget, tableName))
    {
        bulk.ColumnMappings.Add(new SqlBulkCopyColumnMapping(columnName, columnName));
    }

    targetConnection.Open();
    bulk.WriteToServer(table);
}

private static IEnumerable<string> GetMapping(string stringSource, string stringTarget, string tableName)
{
    return Enumerable.Intersect(
        GetSchema(stringSource, tableName),
        GetSchema(stringTarget, tableName),
        StringComparer.Ordinal); // or StringComparer.OrdinalIgnoreCase
}

private static IEnumerable<string> GetSchema(string connectionString, string tableName)
{
    using (SqlConnection connection = new SqlConnection(connectionString))
    using (SqlCommand command = connection.CreateCommand())
    {
        command.CommandText = "sp_Columns";
        command.CommandType = CommandType.StoredProcedure;

        command.Parameters.Add("@table_name", SqlDbType.NVarChar, 384).Value = tableName;

        connection.Open();
        using (var reader = command.ExecuteReader())
        {
            while (reader.Read())
            {
                yield return (string)reader["column_name"];
            }
        }
    }
}

Answer 2

当使用 SqlBulkCopyColumnMapping 时，只会复制创建了映射的列。

如果您不为列创建映射，则复制过程将忽略它。

您可以在演示代码here 中看到这一点 - AdventureWorks 演示数据库中的示例源表包含的列比映射或复制的列多。

编辑

如果没有有关数据库架构的更多信息，很难确定，但猜测问题出在以下语句：

new SqlBulkCopyColumnMapping(c.ColumnName, c.ColumnName)

根据您的描述，听起来源表中并非所有列都存在于目标表中。您需要在 SqlBulkCopyColumnMapping 构造循环中使用过滤器来跳过目标中不存在的任何列。

我的 C# 不够好，无法给出一个我相信它会起作用的例子，但在伪代码中它会是

foreach column c in sourcetable
{
    if c.ColumnName exists in destination_table.columns
    {
          new SqlBulkCopyColumnMapping(c.ColumnName, c.ColumnName)
    }
}

（我确信可以将其转换为 lambda 表达式）

请注意，这在列名匹配但数据类型不兼容的情况下并不是特别可靠。

Answer 3

Ed Harper，这就是没有伪代码的样子 （在这种情况下，从 DataTable dt（完全定义）到数据库中的现有表：

using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connectionString))
{
    bulkCopy.DestinationTableName = "dbo.DepartmentsItems";

    // Write from the source to the destination.
    foreach (DataColumn c in dt.Columns)
    {
        bulkCopy.ColumnMappings.Add(c.ColumnName, c.ColumnName);
    }

    bulkCopy.WriteToServer(dt);
    return dt.Rows.Count;
}

Answer 4

试试这个：SqlBulkCopyColumnMapping Class

希望您正在寻找相同的