【发布时间】:2020-10-19 14:21:01
【问题描述】:
我们有一个(Confluent)托管的 kafka 安装,其中包含 5 个代理和 2 个连接器主机。尽管重复启动和停止应该监听它们的连接器,但我有两个主题从未分配给任何消费者。此配置直到最近才运行(不,没有任何变化 - 我们已经进行了审核以确认)。
如果有的话,我可以做些什么来强制将消费者分配给这些主题?
【问题讨论】:
标签: apache-kafka apache-kafka-connect
我们有一个(Confluent)托管的 kafka 安装,其中包含 5 个代理和 2 个连接器主机。尽管重复启动和停止应该监听它们的连接器,但我有两个主题从未分配给任何消费者。此配置直到最近才运行(不,没有任何变化 - 我们已经进行了审核以确认)。
如果有的话,我可以做些什么来强制将消费者分配给这些主题?
【问题讨论】:
标签: apache-kafka apache-kafka-connect
出现此问题的原因有两个:(1) 我错误地安装了新版本的 PostgreSQL 和 SQLServer JDBC 连接器{与已安装的版本冲突},以及 (2) 不了解 来源 em> 连接器没有分配有消费者组。
超越“好吧,当然来源没有消费者”,另一条重要信息(感谢 Confluent 的支持团队)是您可以通过阅读私人或隐藏主题connect-offsets。完成后,您可以检查实际的数据库查询并查看它返回的内容,然后(如有必要)重置连接器的偏移量。
【讨论】: