用 Perl 解析 Parquet 文件

【问题标题】：Parsing Parquet files with Perl用 Perl 解析 Parquet 文件
【发布时间】：2019-10-10 06:58:19
【问题描述】：

用 Perl 解析 Parquet 文件的正确方法是什么？

CPAN 似乎没有任何模块来执行此操作，除了 S3 Amazon Web Services 模块中的一些逻辑不提供我能找到的任何解析代码。

【问题讨论】：

  • 这些是二进制文件吗？有关方法，请参阅How to parse binary data with Perl。
  • @HåkonHægland - 它们是 Apache Hadoop 的特殊格式
  • 似乎有一个 C++ 库 github.com/apache/parquet-cpp 可以用 perl XS 封装在 perl 接口中
  • 它可以构建为 Alien，然后通过 XS 或 FFI 使用，但构建的第三方依赖项看起来有些复杂。

标签： perl parsing parquet


【解决方案1】：

没有一个模块可以做到这一点，但有一条前进的道路。首先，注意 Parquet format 有一个Thrift specification，它可以被Thrift::IDL 解析。再加上Convert::Binary::C 或@HåkonHægland 发布的链接应该可以帮助您入门。

【讨论】：

    猜你喜欢
    • 2016-01-22
    • 2012-06-08
    • 2016-07-31
    • 2019-05-19
    • 1970-01-01
    • 2012-10-09
    • 1970-01-01
    • 2013-03-17
    • 2017-10-28
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode