sqldataadapter在目标表中插入重复行

Question

我正在使用 .NET 并使用 sqldataadapter 从一个数据源获取数据并更新另一个数据源。但问题是每次在目标表中插入重复行。

   Dim sqlconl As SqlConnection = New SqlConnection(conl) --LOCAL SQL CONNECTION
   Dim sqlconr As SqlConnection = New SqlConnection(conr) --REMOTE SQL CONNECTION
   Dim dsl As New DataSet()  --DSL AS DATASET
   Dim dal As New SqlDataAdapter()  --DAL AS SQLDATAADAPTER

---

    dal.SelectCommand = New SqlCommand("select * from TxnDependents where Personalized='1'", sqlconl)
    dal.AcceptChangesDuringFill = False
    dal.Fill(dsl, "TxnDependents")`
    Dim dar1 As New SqlDataAdapter("select * from TxnDependents", sqlconr)
    Dim U1 As SqlCommandBuilder = New SqlCommandBuilder(dar1)
    dar1.Update(dsl, "TxnDependents")
    dsl.Dispose()
    dal.Dispose()

Answer 1

当然；第一个查询不会选择目标表中已经存在的行，因此将再次添加它们

想象一下：

Source Table      Dest Table
Id, Name          Id, Name
1, Matthew        
2, Mark
3, Luke

然后你选择所有，并更新（插入），所以你有：

Source Table      Dest Table
Id, Name          Id, Name
1, Matthew        1, Matthew
2, Mark           2, Mark
3, Luke           3, Luke

然后向源表添加更多行：

Source Table      Dest Table
Id, Name          Id, Name
1, Matthew        1, Matthew
2, Mark           2, Mark
3, Luke           3, Luke
4, John

然后你选择所有并再次插入到目标表中：

Source Table      Dest Table
Id, Name          Id, Name
1, Matthew        1, Matthew
2, Mark           2, Mark
3, Luke           3, Luke
4, John           1, Matthew
                  2, Mark
                  3, Luke
                  4, John

每次这样做，都会导致越来越多的重复

也许考虑一下：

SELECT MAX(id) as maxid FROM destination --retrieve this into C#
SELECT * FROM source WHERE id > @maxid   --pass the max id into this query that pulls the source data

如果您的 ID 是 guid 或排序不好，请使用其他内容，例如 CreatedDate 列（源中的任何行，其 createddate 大于 dest 中的 max createddate，假设复制了 dest 日期，而不是计算为它真正插入的日期，这可能会导致一些记录丢失）。

如果您没有其他任何东西，您将不得不做一些乏味的事情，例如从目标表中选择所有 ID，而不是从源表中选择这些 ID。实际上，最好有一个列来控制/跟踪数据是否已传输，或者有一个您可以选择的列（如创建的日期或数字序列）以防止降低您已经传输的数据