【问题标题】:mongodb kafka source connector - pipeline not working as expectedmongodb kafka 源连接器 - 管道未按预期工作
【发布时间】:2021-09-17 08:00:53
【问题描述】:

我正在尝试仅将 MongoDB 中符合特定条件的文档推送到 Kafka。当我不为“管道”属性添加任何配置时,我会将所有文档推送到 Kafka。当我添加配置以过滤匹配条件时,我什么也得不到。 这是我的连接器配置:

name=MongoDBSourceConnector
tasks.max=1
connector.class=com.mongodb.kafka.connect.MongoSourceConnector
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter
connection.uri=mongodb://myconnectionstring
database=mydb
collection=mycollection
publish.full.document.only=true
pipeline=[ { $match: { title: "mytitle"} } ]
copy.existing.pipeline=[ { $match: { title: "mytitle"} } ]
copy.existing=true

我正在关注此文档:https://docs.mongodb.com/kafka-connector/current/kafka-source/ 我在 Kafka 连接器日志上没有收到任何错误。 知道我在这里做错了什么吗?

【问题讨论】:

    标签: mongodb apache-kafka apache-kafka-connect


    【解决方案1】:

    问题出在“”上。 MongoDb 运算符应该没有引号,字段应该有它:

    pipeline=[ { $match: { "title": "mytitle"} } ]
    

    copy.existing.pipeline=[ { $match: { "title": "mytitle"} } ]

    【讨论】:

    猜你喜欢
    • 2021-11-23
    • 2020-05-08
    • 2021-09-05
    • 2021-04-06
    • 2021-12-03
    • 2021-04-08
    • 2020-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多