【问题标题】:Complex Flat Files in SSISSSIS 中的复杂平面文件
【发布时间】:2009-12-10 08:46:32
【问题描述】:

SSIS 擅长处理所有记录都相同的平面文件,但在有点复杂的情况下就不那么好了。

我想导入一个类似这样的文件-

Customer: 2344
Name:     John Smith

Item     Description       Price    Qty
543455   Widget 1           4.00      2
543556   Widget 2           8.00      1

我想把它变成下面的输出 -

2344, John Smith, 543455, Widget 1, 4.00, 2
2344, John Smith, 543556, Widget 2, 8.00, 1

对于我的一生,我找不到一个简单的方法来做到这一点。有没有人有任何建议?还是我需要更好的 ETL 工具?

【问题讨论】:

  • 虽然 Ed 有一个好主意,但我强烈建议您至少尝试从提供文件的人那里获得格式更好的文件。我知道这并不总是可能的,但我总是尝试在我喜欢的结构中得到一些东西,而且 90% 以上的时间,他们会容纳我。

标签: ssis import flat-file


【解决方案1】:

我发现在 SSIS 中处理这种半结构化输入文件的唯一成功方法是使用脚本任务逐行读取它,将输出存储在文本文件中(然后使用作为数据源进一步处理)。

我从来没有需要在数据流任务中尝试这样做,我想这会很困难。

【讨论】:

  • +1 这也是我知道如何解决这个问题的唯一方法。
  • 我要添加一件事,而不是使用脚本任务,可以在数据流任务中使用脚本组件源。这将消除对暂存文件的需要。
  • 这是个好主意,因为这样您就可以使用脚本组件的输出缓冲区,并在最终登陆之前对数据进行任何按摩
【解决方案2】:

Script task 是来救援的。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-12-13
    • 1970-01-01
    • 1970-01-01
    • 2014-01-16
    • 1970-01-01
    相关资源
    最近更新 更多