使用 node-red 将 KSQL 流式传输到 S3 存储桶答案

【问题标题】：KSQL stream to S3 bucket with node-red使用 node-red 将 KSQL 流式传输到 S3 存储桶
【发布时间】：2020-05-14 00:11:51
【问题描述】：

在 nodered 中，我已经能够使用 KSQL node 订阅 json stream ABC。现在我正在尝试使用 kafka-s3-connector 以 json 文件的形式将该流推送到 S3 存储桶，但我只能使用 cli 来执行此操作，而不是使用安装在 Node-Red 中的 SQL and S3 node。是否缺少其他节点它，请帮忙吗？

【问题讨论】：

请提供有关您尝试过的确切节点模块的更多信息（有许多可用的 SQL 节点）。此外，您的流程是什么样的，您在调试侧边栏和/或控制台日志中看到了哪些错误？

标签： amazon-s3 apache-kafka node-red ksqldb

【解决方案1】：

我只能使用 cli 来做到这一点

我不熟悉 NodeRED，但您可以将 HTTP POST 请求发送到具有 S3 Connector 可用的 Kafka Connect 分布式服务器

curl -XPOST http://connect-server:8083/connectors \
-d '{
  "name": "sink-s3",
  "config": {
    "topics": "your_topic",
    "tasks.max": "2",

    "name": "sink-s3",
    "connector.class": "io.confluent.connect.s3.S3SinkConnector",

    "storage.class": "io.confluent.connect.s3.storage.S3Storage",
    "format.class": "io.confluent.connect.s3.format.json.JsonFormat",

    "s3.bucket.name": "example-kafka-bucket",

    "key.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",

     "__comment": "Confluent Kafka Connect properties",
    "flush.size": "200",
    "s3.part.size": "5242880",
    "schema.generator.class": "io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator",
    "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner",
    "schema.compatibility": "BACKWARD"
  }
}'

【讨论】：