使用 SSIS 将数据从 Oracle 导入 SQL Server

Question

我们希望使用 SSIS 将数据从 Oracle 导入 SQL Server 我能够将数据从 Oracle 传输到 SQL 中的一个表（暂存）。然后我需要转换数据，我发现我需要运行存储过程来将数据从暂存数据转换为实际生产数据。但我想知道我们如何才能做到这一点。

编辑#1

1. 源表有四列，其中一个字段包含日期，但其数据类型为字符串
2. 目标表也有四列，但不会存储两列，因为源列和目标列之间存在映射
3. 此映射存储在两个表中，两列都像表一个存储SourceFeatureID，DestincationFeatureID，类似地，第二个表存储SourcePID，DestincationPID
4. 数据会定期更新，因此我们需要在上次更新时从目标数据中获取剩余的SourceDate > LastUpdated_destination_date

Answer 1

更新 1：可用于在数据流任务中实现目标的组件

来源和目的地

• OLEDB Source：从临时表读取，您可以使用 SQL 命令仅返回 SourceDate > Destination Date 的数据

  SELECT * FROM StaggingTable T1 WHERE CAST(SourceDate as Datetime) > (SELECT MAX(DestDate) FROM DestinationTable)
  

• OLEDB 目的地：将数据插入生产数据库

加入其他表

• 查找转换：查找转换通过将输入列中的数据与参考数据集中的列连接来执行查找。您可以使用查找来访问相关表中基于公共列中的值的其他信息。
• Merge Join：Merge Join 转换提供的输出是通过使用 FULL、LEFT 或 INNER 连接来连接两个已排序的数据集而生成的

转换列数据类型

• 数据转换转换： 数据转换转换将输入列中的数据转换为不同的数据类型，然后将其复制到新的输出列
• 派生列转换： 派生列转换通过将表达式应用于转换输入列来创建新列值。表达式可以包含来自转换输入的变量、函数、运算符和列的任意组合。结果可以作为新列添加或插入到现有列中作为替换值。派生列转换可以定义多个派生列，任何变量或输入列都可以出现在多个表达式中。

参考文献

• Lookup Transformation
• Merge Join Transformation
• Data Conversion Transformation
• Derived Column Transformation

---

初步回答

我发现我需要运行存储过程将数据从暂存数据转换为实际生产数据

这不是真的，您可以使用DataFlow Task进行数据传输。

有很多链接可以找到详细的解决方案：

• SSIS. How to copy data of one table into different tables?
• Create a Project and Basic Package with SSIS
• Fill SQL database from a CSV File （即使来源是 CSV 但也很有帮助）

使用 SSIS 执行存储过程

无论如何，要从 SSIS 执行存储过程，您可以使用 Execute SQL Task

附加信息：

• Execute SQL Task
• How to Execute Stored Procedure in SSIS Execute SQL Task in SSIS

Answer 2

我不会通过你的 cmets。我只是要发布一个将StagingTable 加载到TargetTable 的示例，以及一个日期转换的示例，以及一个使用映射表的示例。

这段代码创建存储过程

CREATE PROC MyProc
AS
BEGIN

    -- First delete any data that exists 
    -- in the target table that is already there
    DELETE TargetTable 
    WHERE EXISTS (
       SELECT * FROM StagingTable 
       WHERE StagingTable.SomeKeyColumn = TargetTable.SomeKeyColumn
    )


    -- Insert some data into the target table
    INSERT INTO TargetTable(Col1,Col2,Col3)

    -- This is the data we are inserting
    SELECT 
    ST.SoureCol1,    -- This goes into Col1
    -- This column is converted to a date then loaded into Col2
    TRY_CONVERT(DATE, ST.SourceCol2,112), 
    -- This is a column that has been mapped from another table
    -- That will be loaded into Col3
    MT.MappedColumn
    FROM StagingTable ST
    -- This might need to be an outer join. Who knows
    INNER JOIN MappingTable MT
    -- we are mapping using a column called MapCol
    ON ST.MapCol = MT.MapCol
END

此代码运行您刚刚创建的存储过程。您在 SSIS 包中的数据流之后将其放入执行 SQL 任务中：

EXEC MyProc

关于日期转换，请参阅此处了解编号样式：

• CAST and CONVERT (Transact-SQL)