【问题标题】：Glue can't read S3 bucketGlue 无法读取 S3 存储桶
【发布时间】：2021-03-03 03:13:43
【问题描述】：

说明

通过 rclone 同步其他账户的数据，启用 'acl=bucket-owner-full-control'。

rclone sync 607562784642://cdh-bba-itdata-sub-cmdb-src-lt7g 162611943124://bbatest

当我通过 Crawler 将存储桶数据编入 Glue 目录时。胶水爬虫引发如下错误

[49b1d1bd-d3f0-4801-9668-04f8651b06f4] ERROR : Not all read errors will be logged. com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied; Request ID: CD0062EA0B2D0AA7; S3 Extended Request ID: k0oHoKviPcWAs8yrn+9daImiTZ0Fx6sssbGiPF/7YwTjxUwITSDQHd2uTgh3K6QAcxDkvzHREJA=), S3 Extended Request ID: k0oHoKviPcWAs8yrn+9daImiTZ0Fx6sssbGiPF/7YwTjxUwITSDQHd2uTgh3K6QAcxDkvzHREJA=

Official Check list

我已经按照Official Check list检查了项目。

存储桶所有者 ID
对象所有者 ID 他们两个都是一样的。没有额外的存储桶政策。
vpc 端点
存储桶策略
IAM 政策

所有策略都没有阻止胶水访问 S3 存储桶。

爬虫成功地对其他存储桶数据进行了编目。所以胶水配置是正确的。

【问题讨论】：

标签： amazon-web-services amazon-s3

【解决方案1】：

启用存储桶的客户托管密钥。但是我忘了给 kms 添加胶水角色。

【讨论】：