【问题标题】:Merge CSV file values into existing Azure SQL Database using SSIS使用 SSIS 将 CSV 文件值合并到现有 Azure SQL 数据库中
【发布时间】:2018-10-08 01:28:15
【问题描述】:

我正在尝试使用 SSIS(第一次)将 CSV 文件中的数据与 Azure SQL 数据库中的现有表(人员)合并,以替换表中的现有数据。

CSV 文件包含一个Id 和一个CardId。在 Azure 中的现有表中,有一个 CardId 字段,我想从两个 Id 匹配的 CSV 中填写该字段。

这是我目前使用的数据流:

我觉得我很接近这个解决方案。唯一的问题是当到达People Destination 时,SSIS 试图添加新行而不是更新现有行,从而导致主键违规错误。

我知道我可以将数据导入临时表并从那里更新。如果这是实现我想要的最简单的方法,那么我会这样做,但是我觉得如果我对 SSIS 了解更多,我可以使用数据流来代替。

【问题讨论】:

  • 我认为导入临时表然后执行您的逻辑会更干净,更容易完成。此外,如果您尝试使用的数据集变大,这样做可能会占用大量内存!

标签: sql azure csv ssis


【解决方案1】:

我同意@Brad,您尝试的方式是将数据导入到不会进行任何更新的目的地。您必须将 CSV 内容导入临时表,并使用连接执行更新查询以实现您的目标。但是如果数据太大,那么它会花费很多时间并消耗大量内存。

更新大表有很多建议:

【讨论】:

    猜你喜欢
    • 2013-12-30
    • 1970-01-01
    • 2021-04-23
    • 1970-01-01
    • 2020-01-27
    • 2016-03-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多