来自 Spark / Dataframes 的 AWS SSE-KMS 加密

Question

我已配置启用加密的 EMR 集群（emrfs-site.xml 中的属性） 我正在使用数据框 savemode.append 写入 S3n://my-bucket/path/ 保存在 s3 中。

但我看不到对象得到 AWS KMS 加密。 但是，当我从 EMR 的配置单元中进行简单插入时，我能够看到对象得到 aws kms 加密。

如何使用 sse kms 加密 S3 中数据帧中的文件？

Answer 1

问题是我们使用 s3a 将文件从 spark 程序保存到 EMR。 AWS 官方不支持在 EMR 上使用 s3a。虽然我们能够在 S3 中保存数据，但它并没有加密数据。我尝试使用 s3:// 和 s3n:// 加密适用于两者。