【发布时间】:2019-01-27 06:16:57
【问题描述】:
如何在 GCP Stack-driver 中启用日志保留。我还没有找到任何配置日志保留的文档。 我可以在日志记录部分看到导出选项并记录摄取。
【问题讨论】:
标签: google-cloud-platform stackdriver google-cloud-stackdriver
如何在 GCP Stack-driver 中启用日志保留。我还没有找到任何配置日志保留的文档。 我可以在日志记录部分看到导出选项并记录摄取。
【问题讨论】:
标签: google-cloud-platform stackdriver google-cloud-stackdriver
Stackdriver 保留:
项目符号 1 到 3 是审核日志,您可以在 iam > audit logs 页面上启用。请记住,这可能是大量日志。对于数据访问日志尤其如此,因为记录了例如 GCS(Google 云存储)或 Cloud Datastore 中的每个访问对象。一些最佳做法是关闭开发的审计日志记录,或者只为您经常使用的服务(KMS、IAM、存储等)打开审计日志记录,并为 Cloud Build、Cloud Functions 等关闭审计日志记录。
Bullet 4,其他日志,可能是来自 Cloud Functions、App Engine 等的应用程序日志记录。这是来自您在 GCP 上运行的应用程序的日志记录。对于所有 Stackdriver 日志记录,现在可以配置保留时间(2020 年 4 月)。你可以阅读更多关于这个here的信息。
想要更长时间地存储日志记录?
在许多用例中,您希望将日志记录保持更长的时间。这可能是出于分析目的、监控或合规原因。您可以使用项目、目录甚至组织级别的日志接收器导出日志。 Logsinks 本身是免费的,您只需为目的地的存储付费,可能是以下之一:
如果您想将日志记录导出移动到其他地方,可能是 GCP 外部,Pub/sub 可能是一个很好的解决方案。我最近了解到,在存储成本方面,Google Cloud Storage 和 Big Query 差别不大。它们都提供较低级别的存储撕裂,用于长期存储。
Logsink 最佳做法
【讨论】:
现在,有可能,see this post bellow(已编辑)
上一个答案:
日志保留期为 30 天,不可配置,您只需支付存储费用
Stackdriver Logging 允许您将日志保留 30 天,并且 为您提供一键式配置工具,可将数据存档更长时间 Google Cloud Storage 中的时间段。
https://cloud.google.com/logging/
但您可以为日志创建接收器并将它们存储在 Big Query 或 Google Cloud Storage(或两者中)
【讨论】:
现在可以保留日志。
将此documentation 用于自定义保留期限。这可以在1 day 和3650 days 之间。
gcloud beta logging buckets update _Default --location=global --retention-days=[RETENTION_DAYS]
说明:
对于每个 Google Cloud 项目,Logging 会自动创建两个日志存储分区:_Required 和 _Default。项目中生成的所有日志都存储在_Required 和_Default 日志存储桶中,它们存在于生成日志的项目中:
_Required:此存储桶包含管理员活动审核日志、系统事件审核日志和访问透明度日志,并将它们保留 400 天。您无需为存储在 _Required 中的日志付费,并且 此处存储的日志的保留期限不能修改。你 无法删除此存储分区。
_Default:此存储桶包含 Google Cloud 项目中所有其他提取的日志,但 _Required 存储桶中保存的日志除外。标准 Cloud Logging 定价适用于这些日志。日志条目保存在 _默认存储桶保留 30 天,除非您应用自定义保留规则。
使用自定义存储桶和_Default 存储桶,您可以为不同的日志配置自定义保留期。
【讨论】:
ERROR: (gcloud.beta.logging) Invalid choice: 'buckets'. - 我已经为我的云存储设置了一个接收器,但除此之外我无法更改堆栈驱动程序的保留期。
alpha 而不是 beta - 为我修复了它
现在,您可以通过以下命令配置自定义保留:
gcloud alpha logging buckets update _Default --location=global --retention-days=[RETENTION_DAYS]
见https://cloud.google.com/logging/docs/storage#logs-retention
【讨论】:
除了 30 天之外,审核日志还会保留 400 天。
Design Patterns for Logging Exports 涵盖了导出到 GCS、BigQuery 和 PubSub(用于流式日志)的细节。
【讨论】: