Kafka 流消耗为 CSV

【问题标题】：Kafka stream Consumed to CSVKafka 流消耗为 CSV
【发布时间】：2020-09-06 22:35:14
【问题描述】：

我在 java 中使用 Kafka，我将 JSON 消息作为字符串使用，速率为每分钟 100 万条消息，我需要将字符串拆分为仅取一些值并将其保存到 CSV 以将其加载到数据库，我怎样才能做出这样的事情？

【问题讨论】：

如果您在 Kafka 中有数据，将其放入数据库的最佳方法是使用 Kafka Connect JDBC 接收器连接器。如果这里合适，那么我可以提供答案。
我想会的，如果你不介意提供答案

标签： java apache-kafka kafka-consumer-api apache-kafka-connect

【解决方案1】：

您可以使用Kafka Connect JDBC sink 将数据从 Kafka 主题直接流式传输到数据库。要了解有关 Kafka Connect 的更多信息，请参阅 the docs 和 this talk。

这是一个接收器连接器配置示例：

{
    "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
    "connection.url": "jdbc:mysql://mysql:3306/demo",
    "topics": "test01",
    "connection.user": "connect_user",
    "connection.password": "asgard",
    "auto.create": true,
    "auto.evolve": true,
    "insert.mode": "insert",
    "pk.mode": "record_key",
    "pk.fields": "MESSAGE_KEY"
}

在本教程中了解更多信息：https://rmoff.dev/kafka-jdbc-video

了解在Kafka Connect中安装JDBC驱动@987654325@

【讨论】：