【问题标题】:NodeJS (JavaScript/TypeScript) - Error while reading Parquet fileNodeJS (JavaScript/TypeScript) - 读取 Parquet 文件时出错
【发布时间】:2019-07-26 02:00:06
【问题描述】:

我正在尝试使用 nodejs 读取 parquet 文件:

var parquet = require('parquetjs');

(
    async () => {
    try {
            // create new ParquetReader that reads from 'fruits.parquet`
      let reader = await parquet.ParquetReader.openFile('f1.snappy.parquet');

        // create a new cursor
        let cursor = reader.getCursor();

        // read all records from the file and print them
        let record = null;
        while (record = await cursor.next()) {
            console.log(record);
        }

      } catch (e) {
        console.log('error while reading a parquet file:\n', e)
      }

    }

) ();

得到错误:

error while reading a parquet file:
 invalid page type: DICTIONARY_PAGE

相同的 parquet 文件 - 我可以毫无问题地使用 Python pyarrow 库进行阅读..

可能是什么原因?

【问题讨论】:

  • 我也有同样的问题。
  • 有人找到解决这个问题的方法吗?
  • 我也有同样的问题。你有没有以某种方式修复它? @user9750148

标签: javascript typescript module parquet


【解决方案1】:

我在使用 parquetjs 时遇到了同样的问题(以及其他一些在读取嵌套对象时)

我切换到https://www.npmjs.com/package/parquetjs-lite,现在一切正常

parquetjs-lite 是 parquetjs 的一个分支,所以我不需要更改任何代码

【讨论】:

    猜你喜欢
    • 2018-12-13
    • 2023-03-27
    • 1970-01-01
    • 1970-01-01
    • 2021-10-14
    • 2018-12-14
    • 2019-02-04
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多