【问题标题】:Automate Data Feeds challenges自动化数据馈送挑战
【发布时间】:2016-04-18 14:19:31
【问题描述】:

我从需要导入数据库的源获取每月数据提要,但问题是提要每个月都在变化,有时列更多,有时列更少。没有任何一致性。

如何管理和自动化这些数据馈送?

【问题讨论】:

  • 那么您在这里真正使用的是什么技术?您已标记 Informatica、SSIS 和 Oracle SQL Developer
  • 早些时候我试图看看我是否可以在任何 BI 工具中成功处理这个问题。但 SSIS 很好。

标签: sql-server-2008 ssis oracle-sqldeveloper informatica-powercenter


【解决方案1】:

我认为这需要一个直截了当的回应,即除非数据提供者承诺特定的列结构,否则自动化是不可能的。

【讨论】:

  • 至少如何处理可变列数作为 SSIS 中的开始。
  • 非常困难,如果可能的话。 SSIS 基于列结构在设计时设置,并且在运行时不会更改的想法。以某种方式将您的数据放入表中,然后使用动态 SQL 查询表的列结构来构建所需的语句,这样更有可能奏效。
  • 由于没有简单的出路,这些是我想要采取的步骤 1. 找出文件中有多少列。 2. 附加列将根据步骤#1 执行。 3. 批量插入所有步骤都将在使用 SSIS 的脚本任务中完成。我想知道这是否可行。
  • 或者你可以试试 BIML:mssqltips.com/sqlservertip/3094/…
  • 充其量可以根据特定月份发生的任何列结构自动创建包。
猜你喜欢
  • 2014-12-15
  • 1970-01-01
  • 1970-01-01
  • 2013-05-16
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多