【问题标题】:Limitation of streaming data ingest into Azure Data Explorer将流式数据引入 Azure 数据资源管理器的限制
【发布时间】:2021-03-09 14:25:15
【问题描述】:

我正在尝试对一个表执行更新查询,该表在写入更新表之前从另一个表查询和连接数据。不幸的是,当我尝试将更新策略应用于表时,我收到以下错误;

Microsoft 文档描述了在其上配置了流式摄取策略的表上的更新策略只能在其更新查询中引用摄取的数据的限制。

尝试导航我在流式表和转换表之间有一个临时表,我认为这可能会有所帮助,方法是不直接引用复杂更新策略中的流式数据。所以我目前的数据流如下:

  • T1 - 从事件中心流式传输的消息
  • T2 - 将数据从 T1 中的原始消息解析到列的简单更新策略
  • T3 - 使用简单的更新策略从 T1 解析部分数据
  • T4 - 来自 T2 和 T3 的组合数据被合并以在表中生成一行,这是在应用更新策略时出现问题的表。

T4 和 T1 之间没有直接联系,这就是为什么我看到这个错误很奇怪,除非限制意味着一旦您将任何流式摄取策略引入数据库中的任何表,您就会受到限制更新可应用的政策。

我已确认我的更新策略在使用默认的“批量摄取”方法时都有效。

我还确认流式摄取策略仅适用于 T1,而不适用于整个数据库。

在尝试应用更新策略时,有没有人有过类似的经历?

【问题讨论】:

    标签: azure azure-data-explorer kql


    【解决方案1】:

    文档中描述的限制与到达流式摄取本身的数据相关,并且不限于单级更新策略。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-08-17
      • 2021-07-21
      • 2021-10-13
      • 1970-01-01
      • 2022-01-05
      • 2020-04-07
      相关资源
      最近更新 更多