SSIS 包中的错误 - 无法分配环境句柄

Question

我有一个每天运行的 SSIS 包，它处理给定目录中的 CSV 文件。每个 CSV 文件包含约 2000 行，每行只有一列包含 10 或 11 个字符的字符串。该包将数据插入到记录集中，遍历行并为每行调用最多两个存储过程。

通常情况下，每天只有一个 CSV 文件在相关目录中，因此将处理大约 2000 行。我又添加了 10 行，总共有 20,000 到 25,000 行。当包运行时，它在最后约 2000 行期间抛出了以下错误：

System.Reflection.TargetInvocationException: Exception has been thrown by the target of an invocation. ---> System.InvalidOperationException: ERROR - unable to allocate an environment handle.
   at System.Data.Odbc.OdbcHandle..ctor(SQL_HANDLE handleType, OdbcHandle parentHandle)
   at System.Data.Odbc.OdbcConnection.CreateStatementHandle()
   at System.Data.Odbc.OdbcCommand.GetStatementHandle()
   at System.Data.Odbc.OdbcCommand.ExecuteReaderObject(CommandBehavior behavior, String method, Boolean needReader, Object[] methodArguments, SQL_API odbcApiMethod)
   at System.Data.Odbc.OdbcCommand.ExecuteReaderObject(CommandBehavior behavior, String method, Boolean needReader)
   at System.Data.Odbc.OdbcCommand.ExecuteNonQuery()
   at ST_5d19344133644426ade9d7b3f8a994c2.csproj.ScriptMain.Main()
   --- End of inner exception stack trace ---
   at System.RuntimeMethodHandle._InvokeMethodFast(Object target, Object[] arguments, SignatureStruct& sig, MethodAttributes methodAttributes, RuntimeTypeHandle typeOwner)
   at System.Reflection.RuntimeMethodInfo.Invoke(Object obj, BindingFlags invokeAttr, Binder binder, Object[] parameters, CultureInfo culture, Boolean skipVisibilityChecks)
   at System.Reflection.RuntimeMethodInfo.Invoke(Object obj, BindingFlags invokeAttr, Binder binder, Object[] parameters, CultureInfo culture)
   at System.RuntimeType.InvokeMember(String name, BindingFlags bindingFlags, Binder binder, Object target, Object[] providedArgs, ParameterModifier[] modifiers, CultureInfo culture, String[] namedParams)
   at Microsoft.SqlServer.Dts.Tasks.ScriptTask.VSTATaskScriptingEngine.ExecuteScript()

一些快速谷歌搜索表明此错误与可用内存问题有关，但我无法真正理解它。

所以，我有一些问题：

1) 在尝试调用存储过程的上下文中，此错误的真正含义是什么？

2) 我将包的数据流缓冲区 DefaultBufferSize 设置保留为默认值（如果我记得的话，为 10 MB），但我被告知 SSIS 会根据需要更改大小和最大行数？这有关系吗？

Answer 1

我不确定该错误是什么意思，但您是否有任何迹象表明可能存在内存压力？ odbc驱动是32位还是64位？

至于如何在 SSIS 数据流中管理内存，SSIS 将使用 DefaultBufferMaxSize 和 DefaultBufferMaxRows 作为为每个缓冲区分配多少行的边界。使用默认值，它将达到 10 MB 或 10,000 行，以较大者为准，但不超过这些边界。 SSIS 不会更改这些值，但您可以将内存大小增加到 100 MB。

编辑： 该公式将像这样工作：

RowsPerBuffer = If (DefaultBufferMaxRows * RowSize) > DefaultBufferMaxSize
                    Then (DefaultBufferMaxSize / RowSize)
                    Else DefaultBufferMaxRows

鉴于您上面的陈述，您应该看到每个缓冲区接近 10k 行。 增加默认值会为数据流分配更多内存，因此如果您的服务器内存分配严重不足，这可能会对您的 ODBC 连接造成压力。

每行调用一个或两个 proc 是一个密集的过程。您可以考虑将这些值导入临时表并使用数据库引擎以基于集合的方式完成繁重的工作。

编辑： 为了澄清基于集合的方法，我来自 SQL ETL 开发背景，所以我通常会考虑如何快速处理大量数据。同样，我想到了如何以最少的开发量做到这一点，同时仍然满足完整的要求。所以基本的经验法则是：

• 尽可能使用 SSIS 开箱即用的组件
• 将包制作成小型、可测试的单元
• 尽可能避免逐行操作
• 暂存数据，以便将数据库服务器用于它更擅长的任务，例如合并数据集和排序数据

因此，如果您为每一行调用一个 proc，则意味着 SQL 中存在对该行集很重要的数据。您可以执行以下操作：

• 添加一个 foreach 循环来处理每个文件，并将您的数据流添加到该循环中
• 将自定义脚本源替换为标准平面文件源组件
• 将数据按原样暂存到 SQL 表中
• 将 proc 逻辑替换为 SQL 查询，该查询将数据集连接在一起以获得您需要的最终结果集。这个新任务可以进入它自己的存储过程。
• 在 foreach 循环完成后，在 SSIS 中的 t-SQL 任务中调用上述查询

最终结果是您将拥有一个性能更好且更易于维护的包。