【问题标题】:Kafka topic returns 0 messagesKafka 主题返回 0 条消息
【发布时间】:2020-11-30 08:11:58
【问题描述】:

我有一个实时流程,使用 Confluent 平台将 MongoDB 中发生的事件直接流式传输到 Snowflake。 Confluent 在我的本地计算机上建立为 docker 映像,我没有发现任何问题:

     Name                    Command                  State                         Ports
------------------------------------------------------------------------------------------------------------
broker            /etc/confluent/docker/run        Up             0.0.0.0:9092->9092/tcp
connect           /etc/confluent/docker/run        Up (healthy)   0.0.0.0:8083->8083/tcp, 9092/tcp
control-center    /etc/confluent/docker/run        Up             0.0.0.0:9021->9021/tcp
ksql-datagen      bash -c echo Waiting for K ...   Up
ksqldb-cli        /bin/sh                          Up
ksqldb-server     /etc/confluent/docker/run        Up (healthy)   0.0.0.0:8088->8088/tcp
rest-proxy        /etc/confluent/docker/run        Up             0.0.0.0:8082->8082/tcp
schema-registry   /etc/confluent/docker/run        Up             0.0.0.0:8081->8081/tcp
zookeeper         /etc/confluent/docker/run        Up             0.0.0.0:2181->2181/tcp, 2888/tcp, 3888/tcp

过去几天一切正常,今天我用 powershell 重新运行了我的过程:

docker-compose exec broker bashkafka-console-consumer --topic <MY_TOPIC> --bootstrap-server broker:9092

我注意到当我向 Mongo 的集合插入数据时,Kafka 主题没有看到它,而是返回 Processed a total of 0 messages

如何调试发生了什么?连接密码、主题都设置正确,不知道从哪里开始调试。

我曾经得到以下结果,但现在它是空闲的:

【问题讨论】:

    标签: mongodb apache-kafka confluent-platform kafka-topic


    【解决方案1】:

    好的,在 Confluent 控制中心 Connect 选项卡中检查源连接器的设置。

    对于我的 mongo 的连接,新的 URI 语法解决了这个问题(你不指向数据库的那个,在单独的选项卡中完成)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-08-01
      • 2015-12-07
      • 2021-04-06
      相关资源
      最近更新 更多