突触管道中的 DF-Executor-OutOfMemoryError

Question

我有一个来自 ravenDB 的 json，它不是有效的 json，因为它有重复的列。 所以我的第一步是清理 json，如果有重复，则为每个文件制作单独的 json。 我能够为示例文件做到这一点，它运行成功， 然后我尝试了一个 12 MB 的文件，它也可以工作。 但是当我尝试一个 10GB 大小的完整数据库备份文件时，它给出了错误。

这个 10 GB 的文件生成 3 个单独的 json，因为它有 3 次 DOCS 列。 第一个文件是 9.6GB，其他 2 个文件很小，比如 120MB 和 10KB。 对于第一个文件，当我尝试在 Synapse DWH 中加载它时，我得到以下错误。

由于原因导致作业失败：集群在执行期间遇到内存不足的问题。另外，请注意数据流有一个或多个自定义分区方案。使用自定义分区方案的转换：Json、Select1、FlattenDocsCS、Flatten2、Filter1、ChangeDataTypesDateColumns、CstomsShipment。 1. 请使用具有更大核心数和/或内存优化计算类型的集成运行时重试。 2. 请使用不同的分区方案和/或分区数重试。

我尝试发布管道，以便我不在调试模式和小型集群中运行。 我将集群大小更改为 32 个核心，并将优化选项卡中的分区方案更改为所有可能的事情。 但我仍然遇到错误。 请帮忙

Answer 1

注意：如错误消息中所述：

1. 请使用具有更大核心数和/或内存优化计算类型的集成运行时重试。

数据流的成功执行取决于许多因素，包括 计算大小/类型、要处理的源/接收器数量、 分区规范，涉及的转换，数据集的大小， 数据偏度等等。

增加集群大小：

数据流将数据处理分布在 Spark 集群中的不同节点上，以并行执行操作。具有更多内核的 Spark 集群会增加计算环境中的节点数量。更多的节点增加了数据流的处理能力。增加集群的大小通常是减少处理时间的简单方法。

MSFT Doc- 集成运行时性能 |集群大小 - here

1. 请使用不同的分区方案和/或分区数重试。

注意：手动设置分区方案会重新排列数据，并且会抵消 Spark 优化器的好处。除非需要，否则最好不要手动设置分区。

默认情况下，选择使用当前分区，它指示 服务保持转换的当前输出分区。作为 重新分区数据需要时间，使用当前分区是 在大多数情况下推荐。您可能想要的场景 重新分区您的数据包括在聚合和连接之后 显着歪斜您的数据或在使用源分区时 SQL 数据库

MSFT 数据流调谐性能：Here。

这肯定会让您的表现更上一层楼。因为错误信息已经很好地描述了。