如何使用 AWS Athena 读取加密的 delta 格式的 s3 数据集？答案

【问题标题】：How to read encrypted delta formatted s3 datasets using AWS Athena?如何使用 AWS Athena 读取加密的 delta 格式的 s3 数据集？
【发布时间】：2020-01-22 03:53:23
【问题描述】：

我想知道我们是否支持通过 Athena 读取 KMS-CSE 加密的 delta 格式数据集？

我正在查看https://docs.delta.io/0.5.0/presto-integration.htm，它没有提及任何关于加密支持的内容。

如果我在 s3 中使用 KMS-CSE 对清单本身进行加密，我能否在 Athena 中成功读取它？

使用以下命令，我可以在 athena 中创建表。

CREATE EXTERNAL TABLE `delta_athena_demo`(
  `id` bigint)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://testing/_symlink_format_manifest/'
TBLPROPERTIES (
  'has_encrypted_data'='true')

但是当我查询时，我收到以下错误：

您的查询有以下错误：

HIVE_UNKNOWN_ERROR：检测到加密对象。请将 TBLPROPERTIES (has_encrypted_data=true) 添加到表属性中。

（在 delta-users@googlegroups.com 中找到）

【问题讨论】：

标签： amazon-s3 amazon-athena delta-lake

【解决方案1】：

我联系了 AWS Athena 支持，他们确认 Athena 目前不支持从加密的符号链接文本输入格式清单中读取。他们可能会将此视为将来的功能请求。

【讨论】：