我们可以将数据从 ADX 流式传输到 Databricks Spark 集群吗？

【问题标题】：Can we stream data from ADX to Databricks Spark cluster?我们可以将数据从 ADX 流式传输到 Databricks Spark 集群吗？
【发布时间】：2021-12-06 22:18:06
【问题描述】：

ADX 是否支持以流方式向 Databricks Spark 集群发送数据——基本上，Spark 会从 ADX 中提取数据，而不是 ADX 导出数据？换句话说，我想了解 ADX 表是否可以作为火花流的来源？有我可以通过的示例链接吗？

【问题讨论】：

ADX Spark 连接器不支持开箱即用的读取流，请查看 Ziv Caspi 以实现这一点以及创建自定义流提供程序。可能会帮助你 - fdeantoni.medium.com/…

标签： spark-streaming azure-data-explorer

【解决方案1】：

ADX 提供了一种方法，用于查询自上次查询以来通过Database Cursors 方法添加到表中的所有数据。但是请注意，这需要调用者解析查询的 @ExtendedProperties 集（保存数据库游标）并在每两个连续查询之间维护状态（以便可以将新游标值传递给下一个查询）。

【讨论】：

从逻辑上讲，这与连续导出所做的事情是一样的，所以在性能方面它与连续导出相似，不是吗？
另外，在这种情况下，它听起来不像是流式传输，它就像从 ADX 中查询和导出一样。那么我们可以说 ADX 不支持流式传输数据吗，它支持流式摄取的方式？