【问题标题】:Is possible join paths in one query of AWS Athena?AWS Athena 的一个查询中是否有可能的连接路径?
【发布时间】:2020-04-14 03:56:02
【问题描述】:

正在研究在我的项目中使用 Athena,但我没有在 Athena 的一个请求中找到加入文件夹的可能性。

示例 我在文件夹 day1 和 day2 中有数据日志,我的查询需要获取两个文件夹的数据。在独特的查询!有可能吗?

【问题讨论】:

  • Join 查询中缺少什么?

标签: join amazon-s3 amazon-athena


【解决方案1】:

Amazon Athena 中的一个表指向 Amazon S3 中的一个文件夹。

因此,您可以:

  • day1 创建一个表
  • day2 创建一个表
  • CREATE VIEW days AS SELECT * FROM day1 UNION ALL SELECT * FROM day2
  • SELECT col1, col2 FROM days

视图将充当day1day2 的组合表。

【讨论】:

  • 好主意!我去这里试试这个。我看了 Athena 的定价,数据处理的高额货币成本让我担心,这个服务对 API 来说是个好主意吗?无需支付一微财富。
  • 与传统数据库相比,Amazon Athena 物超所值,即使它们没有被积极使用也会产生费用。您只需为 Athena 从磁盘读取的数据量付费,因此您可以通过存储压缩数据(Zip 文件)、使用列式数据存储(例如 Parquet / ORC 文件)以及将数据分区到单独的文件夹来降低成本。见:Analyzing Data in S3 using Amazon Athena | AWS Big Data Blog
猜你喜欢
  • 2020-01-27
  • 2019-05-21
  • 2016-08-18
  • 1970-01-01
  • 1970-01-01
  • 2020-04-16
  • 1970-01-01
  • 2018-05-07
  • 2020-09-12
相关资源
最近更新 更多