Kafka Connect InfluxDB 连接器未从 Kafka 主题读取数据答案

【问题标题】：Kafka Connect InfluxDB Connector not reading data from Kafka topicKafka Connect InfluxDB 连接器未从 Kafka 主题读取数据
【发布时间】：2019-11-25 12:04:23
【问题描述】：

我正在尝试使用 lens.io 的 influxdb sink 独立使用 Kafka Connect。一切似乎都运行良好，直到我在数据库中创建了一些保留策略，并在 sink conf 中指定了其中一个：

connect.influx.retention.policy=one_hour

然后，在使用新配置启动 Kafka Connect 时，我不断收到：

[2019-11-25 14:54:59,067] INFO Empty list of records received. (com.datamountaineer.streamreactor.connect.influx.InfluxSinkTask:72)

也没有数据存储到 influxdb：

> select * from req
>

所以，我恢复了配置，删除了保留策略行并重新启动了 Kafka Connect，但仍然没有数据和相同的消息。另外，我尝试重命名接收器以重置偏移量，但仍然没有骰子。

我做错了什么？如何在没有保留政策的情况下恢复工作状态并在设置中正确集成保留政策？

【问题讨论】：

标签： influxdb apache-kafka-connect

【解决方案1】：

在 influxdb 中使用保留策略时，需要使用完全限定的测量名称来访问内容。此外，我更改了 influxdb (> show retention policies) 使用的默认策略，但默认情况下接收器使用 autogen 策略。换句话说，以下工作：

# With retention policy specified in config
> select * from one_hour.req
# <Lots of data>
# ...

# With retention policy not specified in config
> select * from autogen.req
# <Lots of data>
# ...

当我尝试将策略设置为现在默认的 one_year 时，正如预期的那样，只有测量名称就足够了：

# conf
# ...
connect.influx.retention.policy=one_year
# ...

# influx
> select * from req
# <Lots of data>
# ...

TL;DR：当不使用（当前）influxdb 的默认保留策略时，需要使用测量名称指定保留策略。

【讨论】：