【问题标题】:Kafka Connect Cassandra source not fetching data for timeuuid fieldKafka Connect Cassandra 源未获取 timeuuid 字段的数据
【发布时间】:2019-05-01 09:07:14
【问题描述】:

所有,我正在为 kafka 1.0.0 使用 Lenses cassandra 源连接器。我已经完成了快速入门中提到的所有设置。它也在运行。但问题是我的连接器不会在我在配置文件中提供初始偏移量后立即获取数据。在控制台上我得到了

INFO message for query : "SELECT account_sid,datetime,price,request,response FROM testdb.testtable WHERE datetime > maxTimeuuid(?) AND datetime <= minTimeuuid(?) ALLOW FILTERING executing with bindings (2018-01-01T08:00:00Z, 2018-01-01T11:07:54Z)"

在我的 casandra 表上单独执行此查询时,我得到了结果。请提出问题所在。提前感谢您的任何帮助。

下面是配置文件:

{  
  "name":"cassandra-source",
  "config":{  
    "tasks.max":"1",
    "connector.class":"com.datamountaineer.streamreactor.connect.cassandra.source.CassandraSourceConnector",
    "connect.cassandra.contact.points":"abc.test.com",
    "connect.cassandra.port":9042,
    "connect.cassandra.username":"user",
    "connect.cassandra.password":"password",
    "connect.cassandra.key.space":"testdb",
    "connect.cassandra.initial.offset":"2018-01-01 00:00:00.0000000Z",
    "connect.cassandra.kcql":"INSERT INTO testtable SELECT account_sid,datetime,price,request,response FROM carrier_lookup_list PK datetime INCREMENTALMODE=TIMEUUID",
    "connect.progress.enabled":true
  }
}

【问题讨论】:

  • 你能发布这个特定部分的日志吗?

标签: apache-kafka cassandra-3.0 apache-kafka-connect


【解决方案1】:

您能否检查运行连接器的时区是否与数据库的时区相同。有时您可能会在配置文件中提供正确的时间,但您的进程运行在不同的时区 (-Duser.timezone=UTC)。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2014-03-20
    • 2019-04-22
    • 2020-11-01
    • 2012-07-01
    • 2021-10-12
    • 2023-03-29
    • 2018-11-06
    • 2017-02-06
    相关资源
    最近更新 更多