【问题标题】:I have a streaming pipeline, if i increase the Eventhub partitions from 64 to 128, will that lead to data loss?我有一个流管道,如果我将 Eventhub 分区从 64 增加到 128,这会导致数据丢失吗?
【发布时间】:2021-09-07 11:22:03
【问题描述】:

我在“专用”群集上创建并运行了 Azure eventhub。目前是64个分区,如何保证增加到128个分区不丢失数据?

注意:

  1. 在这种情况下,事件的顺序无关紧要
  2. 事件可以写入任何分区(循环方式)
  3. 此 Eventhub 的使用者是在 I2:64 专用应用服务计划上运行的函数应用。

【问题讨论】:

    标签: azure-eventhub


    【解决方案1】:

    分区横向扩展不应导致数据丢失。生产者可能会在横向扩展期间看到间歇性故障,但是如果您的代码正确地重试失败的操作,那么您真的不必担心。为了安心起见,您可以先在测试 eventthub 上执行演练,然后查看横向扩展处理没有任何问题。

    顺便说一句,确保消费者也被正确配置为从新分区接收。

    【讨论】:

      猜你喜欢
      • 2013-11-25
      • 1970-01-01
      • 1970-01-01
      • 2017-04-20
      • 2017-10-30
      • 2011-02-12
      • 2014-05-24
      • 2018-02-05
      • 2012-02-26
      相关资源
      最近更新 更多