【问题标题】:How to write data in parquet format如何以 parquet 格式写入数据
【发布时间】:2016-03-22 07:53:17
【问题描述】:

我的 ArrayList 中有一些数据> 是否可以将这些数据写入 parquet 文件,如果可以,请推荐 Java 程序,提前谢谢。

请注意,我没有使用任何 Spark、Kafka...

【问题讨论】:

    标签: java parquet


    【解决方案1】:

    上一个链接主要包含 Avro 模式示例(我想知道,为什么人们在回答之前不阅读问题)。到目前为止,我还没有找到任何可靠的例子。您可以使用这个schema filethis article。另外,还有repo with more的例子。

    【讨论】:

      【解决方案2】:

      你用谷歌搜索过吗?

      例如,试试this

      【讨论】:

      • 嗨,我已经完成了这个,从示例 7 开始,我想实现类似的东西的源代码 (programcreek.com/java-api-examples/…),
      • 但是在添加所有依赖项代码不起作用后,我在 ParquetWriter writer = new ParquetWriter(initFile(fileName),new GoupWriteSupport(metas),CompressionCodecName.SNAPPY, 1024 附近遇到问题,1024,512,true,false,ParquetProperties.WriterVersion.PARQUET_1_0,conf);构造函数 GroupWriteSupport(Map) 未定义,请您帮忙
      • 它不是未定义的。构造函数是:GroupWriteSupport(MessageType schema, Map extraMetaData)。添加架构
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2016-06-29
      • 2018-05-13
      • 2020-12-14
      • 2011-07-11
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多