使用 Python boto3 从 S3 下载 Sentinel 文件

Question

我正在使用以下代码从 S3 下载完整大小的 Sentinel 文件

import boto3

s3_client = boto3.Session().client('s3')
response = s3_client.get_object(Bucket='sentinel-s2-l1c',
                        Key='tiles/7/W/FR/2018/3/31/0/B8A.jp2', 
                        RequestPayer='requester')
response_content = response['Body'].read()

with open('./B8A.jp2', 'wb') as file:
     file.write(response_content)

但我不想下载全尺寸图片。有没有办法下载基于 latMax、longMin、LatMin 和 LatMax 的图像？我正在使用以下命令，但自从在 S3 上将数据设为请求者 - 付款者后，它无法正常工作

gdal_translate --config CPL_TMPDIR temp -projwin_srs "EPSG:4326" -projwin 23.55 80.32 23.22 80.44 /vsicurl/http://sentinel-s2-l1c.s3-website.eu-central-1.amazonaws.com/tiles/43/R/EQ/2020/7/26/0/B02.jp2 /TestScript/B02.jp2

有没有什么方法可以使用 Python boto 实现这一点？

Answer 1

您可以使用rasterio 访问图片的子窗口：

（我假设 AWS 凭证已设置为与 boto3 一起使用，并且您拥有必要的权限）

import boto3
from matplotlib.pyplot import imshow
import rasterio as rio
from rasterio.session import AWSSession
from rasterio.windows import Window

# create AWS session object
aws_session = AWSSession(boto3.Session(), requester_pays=True)

with rio.Env(aws_session):
    with rio.open("s3://sentinel-s2-l1c/tiles/7/W/FR/2018/3/31/0/B8A.jp2") as src:
        profile = src.profile
        win = Window(0, 0, 1024, 1024)
        arr = src.read(1, window=win)

imshow(arr)

print(arr.shape)

(1024, 1024)

解释：

如果为boto3 正确配置了AWS 凭证，您可以基于boto3.Session() 创建一个AWSSession 对象。这将为 S3 访问设置必要的凭据。添加标志requester_pays=True，以便您可以从请求者付款存储桶中读取。

AWSSession 对象可以传递到rasterio.Env 上下文中，因此rasterio（更重要的是底层gdal 函数）可以访问凭据。

使用rasterio.windows.Window，我将任意子窗口（0、0、1024、1024）读入内存，但您也可以使用坐标定义窗口，如documentation 中所述。

您可以从那里处理阵列或将其保存到磁盘。