【发布时间】:2018-08-14 19:50:35
【问题描述】:
我在 HDFS 连接器文档https://docs.confluent.io/current/connect/connect-hdfs/docs/configuration_options.html 上没有看到任何压缩配置。
- 是否支持压缩?
- 如果是,我需要在属性文件中添加什么?
【问题讨论】:
标签: apache-kafka apache-kafka-connect confluent-platform
我在 HDFS 连接器文档https://docs.confluent.io/current/connect/connect-hdfs/docs/configuration_options.html 上没有看到任何压缩配置。
【问题讨论】:
标签: apache-kafka apache-kafka-connect confluent-platform
Snappy 压缩最近被添加到 Avro 的 HDFS 连接器中。要启用它,您需要将属性avro.codec 设置为snappy。
Parquet 从一开始就可用,它是导出 parquet 文件时使用的编解码器。
这是为 Avro 添加它的 PR:
https://github.com/confluentinc/kafka-connect-hdfs/pull/255
此配置属性将在即将发布的连接器 4.1.0 版本中可用。这也是文档链接将更新以反映此添加的时间。
【讨论】: