【发布时间】:2021-01-31 20:07:10
【问题描述】:
过去几个月我有许多映射数据流一直在定期运行,其中一些昨天开始出现故障。
数据流模式是-
来源:2 个 Azure SQL DB 表,Synapse 中的一个查找表
接收器:Synapse (Azure SQL DB) 中的 1 个表
我们启用了 Polybase Staging 以获得更好的性能,因为没有它,每个活动都需要很长时间,并且为此提供了与 Azure Blob 存储帐户的链接服务。
昨晚我们的一些较大的表在中途运行失败并出现以下错误,但较小的表都成功了。几个月来,这些管道或任何链接服务都没有发生任何变化。
进入调试模式后,我无法查看任何 Synapse 接收器活动的数据预览,除非我在设置中禁用“暂存”选项。如果我尝试启用暂存,它会显示“应指定 Blob 存储暂存属性”,这是我在调试设置中输入的,但仍然出现错误。
奇怪的是,这个问题只发生在移动大量数据的数据流上,较小的表在调试模式下也很好。所有这些数据流在 2 天前都是成功的,那么这可能是 Blob 存储中的空间问题吗?
管道活动错误代码:
{"StatusCode":"DFExecutorUserError",
"Message":"Job failed due to reason: at Sink 'SinkIntoSynapse':
java.sql.BatchUpdateException: There are no batches in the input script.",
"Details":"at Sink 'SinkIntoSynapse':
java.sql.BatchUpdateException: There are no batches in the input script."}
【问题讨论】:
标签: azure azure-blob-storage azure-data-factory azure-synapse