【问题标题】:Monitor BigQuery Performances监控 BigQuery 性能
【发布时间】:2021-06-13 15:13:06
【问题描述】:

我们有 BigQuery 实例,其中包含我们想要监控使用情况的每个数据集的各种数据集, 例如每个数据集的查询数、为每个数据集触发的查询数、访问数据集的用户数。

有什么方法可以监控 BigQuery 的使用情况?

【问题讨论】:

    标签: google-cloud-platform google-bigquery


    【解决方案1】:

    您可以在此处查看一些指标: https://console.cloud.google.com/monitoring/dashboards/resourceList/bigquery_dataset?project=**[YOUR_PROJECTID_GOES_HERE]**

    这里还有更多信息:https://cloud.google.com/bigquery/docs/monitoring

    您还可以启用 BigQuery 审核日志,并查询审核表以获取一些见解https://cloud.google.com/bigquery/docs/reference/auditlogs。 可能是为了监控用户、查询和其他细粒度的监控,您只能使用审计日志来做到这一点

    【讨论】:

      【解决方案2】:

      这里最好的选择很可能是通过相关的 INFORMATION_SCHEMA 视图直接查询作业元数据。

      有关作业视图的详细信息,请参阅https://cloud.google.com/bigquery/docs/information-schema-jobs,其中包括最后一些简单的查询示例。

      作业视图确实提供了referenced_tables 的列表,您可以从中识别封装数据。您可能需要考虑如何报告引用多个数据集的查询,尤其是在报告扫描的字节数或使用的资源等指标时。

      【讨论】:

        猜你喜欢
        • 2020-04-16
        • 2019-12-16
        • 2011-11-09
        • 2012-03-06
        • 2010-09-07
        • 2012-06-26
        • 2019-07-14
        • 2013-11-15
        • 2023-04-05
        相关资源
        最近更新 更多