从 java 对象到 parquet 文件

Question

我有一个 json 文件，想将其转换为 parquet 文件。 我知道如何从 json 文件转换为 java 对象，但仍然需要从 java 对象转换为 parquet 文件。 我不想使用 AVRO/Protocol Buffers/Thrift/etc 进行转换，也不想使用 Apache 演练——只是一个 java 代码。

我正在使用带有 maven 的 Java 项目，我的 pom.xml 看起来像这样：

<dependencies>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-common</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-encoding</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-column</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-hadoop</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>0.20.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.2.0</version>
        </dependency>
    </dependencies>

表示我在使用 hadoop 时没有问题。

所以我找到了这个链接（最后一条评论）：

https://groups.google.com/forum/#!topic/parquet-dev/lfWanFOc040

上面的链接有我想要的，但是我在那里有 2 个导入有问题，找不到它们的正确依赖项。

这些是我找不到的 2 个导入：

import org.apache.hadoop.hive.ql.io.parquet.writable.BinaryWritable;
import org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriteSupport;

感谢您在查找依赖项方面的帮助。

谢谢:)

Answer 1

好的，我找到了答案：

<dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>0.13.0</version>
        </dependency>

享受吧！