DQS SSIS 包在 VS2010 中挂起答案

【问题标题】：DQS SSIS package hangs in VS2010DQS SSIS 包在 VS2010 中挂起
【发布时间】：2012-06-27 16:21:10
【问题描述】：

我有一个用于 DQS 清理的包。我有近 650,000 多条记录要清理，但是在处理了大约 350,000 条记录后，我得到了一个症状，使我的项目挂起。例如，我将关闭我的 Visual Studio 项目/解决方案，但一旦我尝试返回打开我的项目，我会在右下角收到消息“Visual Studio 正在等待内部操作”。一旦发生这种情况，我将无法单击或滚动项目中的任何位置。我正在使用 SQL 2012 将数据从一个表移动到另一个表，但移动到 SQL 2012 服务器/实例中的另一个数据库。此外，我正在使用 DQS 客户端来清理和验证姓氏、州和国家/地区的数据。我的视觉工作室是 2010 版。我在具有 8g 内存和 4 个内核的虚拟机上运行这一切。我确实为 SQL 2012 安装了累积服务包。此时，我必须在任务管理器中杀死我的 VS2010，但似乎无法再运行我的 SSIS 项目。我必须删除目标表中的所有记录，然后才能再次进入我的项目。感谢您的任何帮助或想法，迈克尔

【问题讨论】：

为什么要在开发环境中处理如此大量的记录？为什么不使用较少数量的测试记录开发包，将其部署到您的服务器，然后让它处理完整的数据集？
感谢 Pondlife。我正在认真考虑你提到的程序。在开发过程中，我正在处理少量记录并慢慢建立到 650,000 条记录。我只是在大约 350,000 条记录后锁定，并希望在生产部署之前弄清楚这一点。
好的，但我不太确定您要测试什么。在 BIDS 环境中运行的 SSIS 包的性能可能与使用 dtexec 或作为计划作业运行时的性能完全不同。您只是想确保您的包可以处理 650,000 行吗？如果是这样，您为什么觉得需要在 BIDS 中对其进行测试？

标签： sql visual-studio-2010 ssis data-quality-services

【解决方案1】：

DQS 清理是一项非常资源密集型任务。根据Data Quality Services Performance Best Practices Guide，即使遵循硬件建议和最佳实践，100 万行的 DQS 清理也可能需要 2-3.5 小时。

另外，我同意 Pondlife 的 cmets 关于在 BIDS 与 DTEXEC 中运行的观点。 BIDS/SSDT 是 32 位的（限制内存为 2-3GB），而 DTEXEC 有一个 64 位的版本，可以使用更多的内存。

【讨论】：