【问题标题】:Dataset for parquet formatparquet 格式的数据集
【发布时间】:2016-05-13 12:58:22
【问题描述】:

我有一个 mapreduce 程序,我想在 parquet 文件中使用它。我无法在任何 repo 或站点上找到任何 parquet 示例数据集。

请推荐一些。

【问题讨论】:

    标签: java mapreduce dataset parquet bigdata


    【解决方案1】:

    我想你可能只是写一个 MR 来读取一个 dfs 文件并写成一个 parquet 文件。

    命令:

    使用 ALTER 命令设置 store.format 选项。

    ALTER SESSION SET `store.format` = 'parquet';
    ALTER SYSTEM SET `store.format` = 'parquet';
    

    Source

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2022-10-15
      • 1970-01-01
      • 1970-01-01
      • 2017-09-03
      • 2020-08-21
      • 1970-01-01
      • 2021-08-15
      • 2020-12-14
      相关资源
      最近更新 更多