在 HDFS 中存储 Avro 文件

【问题标题】：Storing Avro files in HDFS在 HDFS 中存储 Avro 文件
【发布时间】：2017-03-03 20:46:26
【问题描述】：

我正在尝试在 HDFS 上存储大量数据。我已经能够使用 Python 生成 Avro 文件。 Avro 是否提供将输出直接存储到 HDFS 的功能？

【问题讨论】：

阅读 ü 手册

【解决方案1】：

Avro 是一种序列化框架，旨在以 avro 格式存储数据，它没有向 HDFS 写入任何内容的智能。

您需要使用 HDFS api 将您的 avros 上传/写入 HDFS，在 python 中使用类似的东西，其中 srcPath 是本地 avro，dstPath 在 HDFS 上

public void uploadToHdfs(String srcPath, String dstPath) throws IOException {
        FileSystem fs = getFileSystem();
        fs.copyFromLocalFile(new Path(srcPath), new Path(dstPath));
}

谢谢

【讨论】：