【问题标题】:Kafka FileStreamSinkConnector recreated the file to write in after it was deleted by meKafka FileStreamSinkConnector 在被我删除后重新创建了要写入的文件
【发布时间】:2020-08-20 12:36:55
【问题描述】:

好的,这是一个不寻常的。

我制作了一个文件流接收器连接器如下:

curl -X POST http://cpnode.local.lan:8083/connectors -H "Content-Type: application/json" --data '{
  "name":"file-sink-connector-002",
  "config": {
    "tasks.max":"1",
    "batch.size":"1000",
    "batch.max.rows":"1000",
    "poll.interval.ms":"500",
    "connector.class":"org.apache.kafka.connect.file.FileStreamSinkConnector",
    "file":"/kafka/names.txt",    
    "table.name.format":"tb_sensordata",
    "topics":"names",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "key.converter.schemas.enable":"false",
    "value.converter": "org.apache.kafka.connect.storage.StringConverter",
    "key.converter.schemas.enable":"false"
  }
}'

在连接器运行时,我删除了文件 names.txt

大约一个小时后.....它重新创建了文件.....

我启动了控制台生产者并在主题中生成了一些数据。 sink 连接器将数据写入文件中。

谁能解释一下这种行为....plz.

【问题讨论】:

    标签: apache-kafka apache-kafka-connect


    【解决方案1】:

    根据pull request(次要:在 FileStreamSinkTask #5406 中追加或创建文件),如果 FileStreamSinkConnector 中提到的文件不存在,它将由 kafka-connect 创建。

    【讨论】:

    • 谢谢@mike.....知道了......只是一个后续问题......我们可以控制创建文件的时间吗?
    • 我没有看到任何配置来控制这个时间
    猜你喜欢
    • 1970-01-01
    • 2018-04-15
    • 2017-03-28
    • 1970-01-01
    • 2019-06-14
    • 2021-10-04
    • 2016-09-02
    • 1970-01-01
    • 2015-04-05
    相关资源
    最近更新 更多