【问题标题】:Anonymise GCP Cloud SQL export for local dev为本地开发人员匿名 GCP Cloud SQL 导出
【发布时间】:2021-10-23 14:48:41
【问题描述】:

我们每天都会将 Cloud SQL (PostGres) 实例备份到 GCS 存储桶。我正在寻找实现以下目标的想法和最佳途径:

  • 备份完成后对 .SQL 文件中的敏感数据进行匿名处理 - 这可能是导出后触发的另一个例行自动化作业
  • 压缩成 .tar.gz(或其他格式),以便更快地下载
  • 然后,开发人员将下载、解压缩并在其本地 postgres SQL docker 容器中运行以用于本地开发环境

我一直在研究是否有内置的 GCP 服务来执行此操作,但找不到任何东西。我想尽可能多地使用 GCP 云服务,而不必编写脚本并在计算实例等上运行它。

我目前的想法是通过以下方式做到这一点:

  • Cloud Functions 使用 Python 进行匿名化(如果可能的话)
  • 云调度程序设置 cron 作业以定期执行此操作

我只是不确定细节以及是否真的有更简单的方法。

【问题讨论】:

  • 您知道您想要实现的匿名化类型吗?瑞达克?虚拟化?代替?你有几张桌子?

标签: sql postgresql google-cloud-platform export cloud


【解决方案1】:

技术可行性

您可以使用 Google Cloud Data Loss Prevention API 匿名化(屏蔽)数据。

由于您是从 Cloud SQL 数据库读取数据,因此您可能会发现 DLP Proxy for Cloud SQL 很有用(请参阅tutorial)。

使用此代理应用程序,您可以向实例或容器内的数据库提交查询,并将其匿名化。您可以安装一个带有保险丝的存储桶并将结果直接转储到那里。

【讨论】:

    【解决方案2】:

    感谢您发布有关 DLP @Iñigo 的信息,这肯定会派上用场。

    我还发现我们使用了这个工具,直到昨天我才知道!

    https://gitlab.com/dalibo/postgresql_anonymizer

    它运行良好,并且已经作为 docker 镜像提供。

    【讨论】:

      猜你喜欢
      • 2022-07-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-04-30
      • 1970-01-01
      相关资源
      最近更新 更多