通过 S3 select 查询时获取 OverMaxRecordSize答案

【问题标题】：Getting OverMaxRecordSize when querying through S3 select通过 S3 select 查询时获取 OverMaxRecordSize
【发布时间】：2023-02-20 22:47:04
【问题描述】：

在运行任何查询并尝试获取任何记录时收到以下错误 The character number in one record is more than our max threshold, maxCharsPerRecord: 1,048,576。

我试过从 JSON 架构更改为 CSV，但没有奏效。经过一番研究后，我发现这是 AWS 解决方案的局限性。有没有一种方法可以从下载的数据中找出大于 1 MB 的记录属性.ldjson.gz？

【问题讨论】：

标签： sql amazon-s3 amazon-s3-select

【解决方案1】：

您可以下载该文件，然后使用一些 Unix 命令/python 代码：

Unix：

cat file.txt | awk 'length > 1048576 {print NR ": " length}'

Python：

with open('file.txt', 'r') as f:
    for i, line in enumerate(f):
        if len(line) > 1048576:
            print("Line", i+1, "has more than 1 million characters.")

【讨论】：