S3：如何在不下载完整文件的情况下进行部分读取/查找？答案

【问题标题】：S3: How to do a partial read / seek without downloading the complete file?S3：如何在不下载完整文件的情况下进行部分读取/查找？
【发布时间】：2016-07-25 23:11:39
【问题描述】：

虽然它们类似于文件，但 Amazon S3 中的对象并不是真正的“文件”，就像 S3 存储桶不是真正的目录一样。在 Unix 系统上，我可以使用 head 预览文件的前几行，无论它有多大，但我不能在 S3 上这样做。那么如何在 S3 上进行部分读取呢？

【问题讨论】：

如果您使用 Python，只需使用 smart_open 库即可，省去麻烦。

标签： http amazon-s3 http-headers

【解决方案1】：

S3 文件可能很大，但您不必为了读取前几个字节而获取整个文件。 S3 API 支持 HTTP Range: 标头 (see RFC 2616)，它采用字节范围参数。

只需在您的 S3 请求中添加一个 Range: bytes=0-NN 标头，其中 NN 是请求读取的字节数，您将仅获取这些字节而不是读取整个文件。现在，您可以预览您留在 S3 存储桶中的 900 GB CSV 文件，而无需等待整个文件下载完毕。阅读亚马逊开发者文档中的the full GET Object docs。

【讨论】：

S3 调用示例：aws s3api get-object --bucket my_bucket --key path/to/my/file/file1.gz file1.gz --range bytes=1000-2000
在您的示例中，最好使用Range: bytes=K-N，因为您可以从与0 不同的值开始（请参阅@Rick W 的答案）。
澄清：S3 不支持关于 Range 标头的整个 RFC 2616 规范，实际上它是 only supports single ranges and not multiple ones。

【解决方案2】：

AWS .Net 开发工具包仅显示固定范围是可能的（RE：public ByteRange(long start, long end)）。如果我想从中间开始读到最后怎么办？ Range: bytes=1000- 的 HTTP 范围对于“从 1000 开始并读到最后”是完全可以接受的，我不相信他们在 .Net 库中允许这样做。

【讨论】：

这个问题没有提到 .NET，所以这可能对提问的人没有帮助

【解决方案3】：

使用 Python 可以预览压缩文件的第一条记录。

使用 boto 连接。

#Connect:
s3 = boto.connect_s3()
bname='my_bucket'
self.bucket = s3.get_bucket(bname, validate=False)

从 gzip 压缩文件中读取前 20 行

#Read first 20 records
limit=20
k = Key(self.bucket)
k.key = 'my_file.gz'
k.open()
gzipped = GzipFile(None, 'rb', fileobj=k)
reader = csv.reader(io.TextIOWrapper(gzipped, newline="", encoding="utf-8"), delimiter='^')
for id,line in enumerate(reader):
    if id>=int(limit): break
    print(id, line)

所以它相当于下面的 Unix 命令：

zcat my_file.gz|head -20

【讨论】：

【解决方案4】：

get_object api 有用于部分读取的 arg

s3 = boto3.client('s3')
resp = s3.get_object(Bucket=bucket, Key=key, Range='bytes={}-{}'.format(start_byte, stop_byte-1))
res = resp['Body'].read()

【讨论】：