如何在谷歌云存储中启用实时对象访问分析？答案

【问题标题】：How to enable real time object access analytics in google cloud storage?如何在谷歌云存储中启用实时对象访问分析？
【发布时间】：2019-09-08 07:43:26
【问题描述】：

我正在尝试为存储在谷歌云存储桶中的对象设置实时访问日志。 google指定here的访问日志每小时生成一次，不会起作用。

我想要关于对象访问（ip、下载量、client_os）的类似信息，但是实时的。有没有办法在谷歌云平台上做到这一点？

如果使用实时日志将流量路由到另一个点会更好，我将不胜感激有关如何做到这一点以及使用什么工具的建议。最终，我希望在 google data studio 中将数据可视化。

【问题讨论】：

标签： google-analytics google-cloud-platform google-cloud-storage

【解决方案1】：

很遗憾，google storage 只提供以下gcp-storage metric

- api/request_count
- authz/acl_based_object_access_count
- authz/object_specific_acl_mutation_count
- network/received_bytes_count
- network/sent_bytes_count
- storage/object_count
- storage/total_byte_seconds
- storage/total_bytes

我认为您想要访问存储桶对象的日志，例如图像、视频等。您也许可以尝试在您的 bucket 前面使用Google Cloud CDN。所以你可以通过httpRequest获取你需要的访问日志，并从stackdriver获取

{
  "requestMethod": string,
  "requestUrl": string,
  "requestSize": string,
  "status": number,
  "responseSize": string,
  "userAgent": string,
  "remoteIp": string,
  "serverIp": string,
  "referer": string,
  "latency": string,
  "cacheLookup": boolean,
  "cacheHit": boolean,
  "cacheValidatedWithOriginServer": boolean,
  "cacheFillBytes": string,
  "protocol": string
}

【讨论】：

【解决方案2】：

云存储日志分为三种：

Access logs - 更新每小时记录指定存储桶的所有请求的速率。
存储日志 - 每天更新，提供有关上一天存储使用情况的所有信息。
Audit logs - 持续跟踪访问，这是 recommended 为经过身份验证的用户记录存储活动的方式。

您可以在 Google Cloud Platform Console > Activity Activity Stream 中查看审核日志。

资源类型过滤器：GCS bucket。

可以在Logs Viewer 中找到更详细的日志版本。

如果您需要使用日志进行进一步分析，请参阅 Google Cloud 文档中提供的there are several options to do so。还有用于在 Data Studio 中可视化数据的示例查询。 Check more custom queries for Data Studio here.

【讨论】：

感谢您的帮助。我查看了审计日志，虽然它们是实时生成的，但谷歌选择为公共云存储对象禁用它们。关于如何绕过审计日志的公共访问限制的任何想法？
审核日志保守地仅限于经过身份验证的用户（这不包括所有用户访问），以防止未经授权记录用户私人数据，如电子邮件或设备 ID、IP。记录所有经过身份验证的用户访问，including one granted using tokens