【问题标题】:Kafka: Does Confluent’s HDFS connector support Snappy compression?Kafka:Confluent 的 HDFS 连接器是否支持 Snappy 压缩?
【发布时间】:2018-08-14 19:50:35
【问题描述】:

我在 HDFS 连接器文档https://docs.confluent.io/current/connect/connect-hdfs/docs/configuration_options.html 上没有看到任何压缩配置。

  • 是否支持压缩?
  • 如果是,我需要在属性文件中添加什么?

【问题讨论】:

    标签: apache-kafka apache-kafka-connect confluent-platform


    【解决方案1】:

    Snappy 压缩最近被添加到 Avro 的 HDFS 连接器中。要启用它,您需要将属性avro.codec 设置为snappy

    Parquet 从一开始就可用,它是导出 parquet 文件时使用的编解码器。

    这是为 Avro 添加它的 PR:

    https://github.com/confluentinc/kafka-connect-hdfs/pull/255

    此配置属性将在即将发布的连接器 4.1.0 版本中可用。这也是文档链接将更新以反映此添加的时间。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2012-08-04
      • 2023-03-19
      • 1970-01-01
      • 2017-10-24
      • 2016-04-27
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多