在没有 Spark 的 Scala 中使用 parquet-mr答案

【问题标题】：Using parquet-mr in Scala without Spark在没有 Spark 的 Scala 中使用 parquet-mr
【发布时间】：2016-10-11 18:22:04
【问题描述】：

我正在尝试在不使用 Spark 的情况下在 Scala 中读取 .parquet 文件。

我找到了this SO post，但到目前为止还没有找到如何使用parquet-mr library 来实际读取文件（包括获取架构）。有诸如 RecordReader.java 和 RecordReaderImplementation.java（扩展 RecordReader）之类的东西，但我很难理解如何在我的 Scala 代码中使用它们。我对 Scala 和 Parquet 格式非常陌生，但想在不使用 Spark 的情况下完成此操作。

我在这里缺少什么？

【问题讨论】：

标签： java scala parquet

【解决方案1】：

在没有找到任何其他东西之后，我最终自己构建了一些东西。万一其他人在未来遇到这个问题：https://github.com/jmd1011/parquet-readers

【讨论】：

啊，我看到你也在这里评论了！感谢您在 repo 上提出问题，对 repo 上的另一个问题发表评论，并在此处对问题和答案投反对票。也许将来更合适的方法是简单地在一个位置联系我并说：“嘿，deckeresq，你还在从事这个项目吗？我很想获得一些文档/示例。”
我没有投反对票。我可以证明这一点 - 通过现在 upvoted 两者。 SOF 有一条奇怪的规则，即您不能在 5 分钟后更改您的投票 - 所以如果我投了反对票，就不可能投赞成票。但我不赞成安抚任何人（/你），而是因为问答很有用。当时我很着急——因此我对互动的处理很差，而且缺乏支持。为双方道歉。
@javadba 感谢您的澄清，并让我知道。我当然也可以更好地处理事情！我目前正忙于下个月左右的其他优先事项，但我计划在 11 月底之前将文档和示例添加到相关的存储库中。