【问题标题】:Use azure event hub to design a streaming integration solution使用 azure 事件中心设计流式集成解决方案
【发布时间】:2020-09-01 21:17:39
【问题描述】:

这里需要一些想法,关于如何使用 azure 事件中心来设计类似“kafka”的集成解决方案。

背景, 有一个事件生产者,它将吐出一个调用 webhook 的事件。在消费者方面,有一个需要实时接收这些事件的“快速”消费者,以及另一个遵循每日批次的“慢”消费者。

solution in mind

这样做的目标是建立在无服务器/事件驱动的基础上,但不确定这种设计是否正确..

【问题讨论】:

  • 实时消费者是否可以直接从事件中心获取数据,而无需在他们面前使用函数?

标签: azure azure-eventhub


【解决方案1】:

TBH 根据您的文字,我很难理解您想要实现的目标。但根据你的照片,我可以说:

  • 在事件中心和您不需要事件网格的函数之间(实际上它不会那样工作)。该函数直接侦听事件中心并从中获取新消息。

  • 在事件中心和 SQL 数据库之间,我会放置一个 Azure 流分析作业。完成这项工作的最简单方法。或者,您也可以在那里使用另一个 Azure 函数。

【讨论】:

  • 感谢 cmets,很好的建议。是否有更好的模式来处理“慢消费者”的用例,因为来自事件中心的事件需要在某个地方暂存,然后稍后通过批处理作业进行处理?
  • 为什么不把它们放在事件中心?他们可以在那里停留长达 7 天。每次运行批处理消费者时,它都会获取自上次运行以来的所有事件
  • 我明白了,因此事件中心可以保留消息,同时将更新传递给 azure 函数,该函数会提供给实时消费者
  • 是的。只要确保您使用不同的消费者群体。只要在保留时间内,您可以多次阅读每个事件
猜你喜欢
  • 1970-01-01
  • 2018-02-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2013-05-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多