Databricks 如何处理来自 EventHub 的传入消息？

Question

作为实时连续数据处理方案的新手，想知道如何通过数据块处理传入的连续系列消息，这些消息是逐个处理还是并行处理？

谢谢。

Answer 1

实现此目的的一种方法是使用 Databricks 上的 Spark 从 EventHub 提取数据。这是通过使用消息队列来完成的。如果只使用一个消费者从队列中读取，则消息将按顺序处理。但是，如果使用多个消费者，则可以并行处理多个消息。

查看这些示例以获取更多信息：

• https://lenadroid.github.io/posts/connecting-spark-and-eventhubs.html
• https://docs.microsoft.com/en-us/azure/azure-databricks/databricks-stream-from-eventhubs