【问题标题】:Kafka Producer to consume csvKafka Producer 消费 csv
【发布时间】:2019-02-23 23:34:49
【问题描述】:

我正在模拟一个 kafka 生产者从文件中读取。我想每 15 分钟读取一次文件,因为文件每 15 分钟更改一次。 我可以通过读取 csv 获得示例 python 代码来生成 kafka 主题吗?

【问题讨论】:

  • 嗨!欢迎来到 Stackoverflow。你也可以取悦你的代码吗?我们非常乐意为您提供帮助,但这里缺少上下文,例如您尝试过的内容、CSV 示例等。
  • 另外请记住,SO 不是代码开发服务,如果您遇到困难,我们非常乐意为您提供帮助,但没有人会免费为您工作!
  • 顺便说一下,Kafka Connect 是 Kafka 的内置框架,用于处理此类事情。没有理由自己编写代码。可能需要知道如何部署 Java 应用程序。 github.com/jcustenborder/kafka-connect-spooldir

标签: python apache-kafka producer


【解决方案1】:

+1 @cricket_007 所说的。 Kafka Connect 专门用于将数据从其他系统摄取到 Kafka(如果需要,还可以从 Kafka 流式传输到其他系统)。

他提到的连接器http://github.com/jcustenborder/kafka-connect-spooldir 将为您将 CSV 文件提取到 Kafka 中。

【讨论】:

    猜你喜欢
    • 2019-04-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-09-23
    • 1970-01-01
    • 2022-06-15
    • 2013-07-22
    • 2021-11-09
    相关资源
    最近更新 更多