【问题标题】:Since QuickSight can directly query S3, when would we need to use Athena as data source for QuickSight? [closed]既然 QuickSight 可以直接查询 S3,那么我们什么时候需要使用 Athena 作为 QuickSight 的数据源呢? [关闭]
【发布时间】:2018-05-01 10:36:36
【问题描述】:

可能是我遗漏了一些东西,但我无法理解如果我将 Athena 与 QuickSight 连接而不是直接将 QuickSight 与 S3 连接会得到什么好处。请帮助我理解这一点。

【问题讨论】:

    标签: amazon-s3 amazon amazon-athena amazon-quicksight


    【解决方案1】:

    Amazon S3 是一种对象存储,用于存储和检索任意数量的数据。基本上,它有一些原始数据或非结构化数据(在某些文件格式.csv.tsv)。

    Amazon Athena 使用托管数据目录来存储信息和 关于您为数据创建的数据库和表的架构 存储在 Amazon S3 中。所以,雅典娜知道数据及其结构 (即某些模式)在 S3 中。

    此外,QuickSight 可以直接连接到 Athena 数据库并查询数据进行分析。当您连接到 Athena 数据库时,您最有可能处理结构化或半结构化数据

    Amazon S3 Manifest Files 如果数据源是 Amazon Athena,则不需要。

    直接连接到 S3 时的一些限制:-

    清单中指定的文件大小不得超过 1 GB,总大小 指定的所有文件的大小不能超过 10 GB,并且总 指定的文件数不能超过 1000。

    当您使用使用 Amazon Athena 数据创建数据集时,上述限制不可用。

    使用 Amazon Athena 数据创建数据集时的另一个功能:-

    您可以直接分析数据而无需加载或加载到 SPICE 并分析数据。

    结论:-

    如果您尚未对 S3 文件执行任何操作,则可以直接使用 QuickSight,将 S3 用作数据集。

    如果您已将 S3 数据加载到 Athena 中,则可以将 Athena 用作 QuickSight 的数据集。

    通过使用 Athena 或任何其他数据源,您将获得一些好处,并且可以克服上述一些限制(即文件大小)。

    【讨论】:

    • 超级。非常感谢:)
    • 请您解释一下“如果您已将 S3 数据加载到 Athena,那么您可以使用 Athena 作为 QuickSight 的数据集”。我的理解是,使用 Athena 触发的查询结果存储在 S3 存储桶中(示例结果 S3 存储桶名称:results)。这意味着您无法将任何内容加载到 Athena 中。当 Athena 设置为 QuickSight 的数据集时,QuickSight 会调用 athena,从而将查询发送到 source S3 bucket,并将结果存储在 results S3 bucket 中。然后 QuickSight 根据results S3 bucket 中的值显示图表/结果。
    • 这些 S3 限制(每个文件 1GB,总共 10GB)是否仍然有效?不要在这里看到它们:docs.aws.amazon.com/quicksight/latest/user/…
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-05-24
    • 1970-01-01
    • 2018-01-21
    • 2020-04-28
    • 1970-01-01
    相关资源
    最近更新 更多