【问题标题】:SSIS and ETL speedSSIS 和 ETL 速度
【发布时间】:2012-05-04 19:45:23
【问题描述】:

我读过很多文章说 SSIS 和 ETL 比使用 VB6 记录集和 VB.NET DataReaders 更快、更高效,但是我不完全理解为什么会这样。

我创建了一个 SSIS 包,它循环了一百万条记录并创建了一个新表,并在 VB 中做了同样的事情,这证实了 SSIS 非常快。

我知道所有的处理都是在数据层完成的,所以从应用程序服务器到数据库服务器没有昂贵的旅行,但是有一篇 MSDN 文章解释了使 SSIS 更快的算法吗?

我有一个非常慢的 VB6 应用程序,我认为 SSIS 是解决方案。

【问题讨论】:

  • SSIS 显然针对 ETL 工作进行了优化,因为它专门为此而设计。互联网上有很多关于这方面的信息,谷歌是你的朋友。
  • 您可能会认为 SSIS 针对 ETL 进行了优化,而 VB6 针对 20 世纪进行了优化。
  • 约翰,我确实在我的问题中说明了 VB6 和 VB.NET。我意识到 VB6 是传统的。
  • “legacy”是一种轻描淡写的说法,几乎是假的。我无法想象您为什么认为将十年前的软件纳入性能比较是有效的。

标签: ssis etl


【解决方案1】:

SSIS 数据流任务的管道架构更快,主要是由于缓冲。通过选择“块”中的数据,管道可以在 RAM 中执行许多操作,然后将数据缓冲区传递到下游进行进一步处理。根据数据的大小和形状,以及源和目标的位置和类型,您有时可以在 SSIS 之外获得更好的结果。

【讨论】:

  • 安迪,很好的答案,希望能经常在这里见到你,但仅供参考,请参阅meta.stackexchange.com/questions/2950/…
  • 谢谢约翰,我的回答是否违反了所列规则之一?
  • 是的,您包含了一个签名。
  • 我会不时这样做。如果这是一个问题,我有一个解决方案。 :{>
猜你喜欢
  • 2021-05-15
  • 1970-01-01
  • 1970-01-01
  • 2021-04-30
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2013-02-22
相关资源
最近更新 更多