在两个环境之间同步数据答案

【问题标题】：Synchronize data between two Environments在两个环境之间同步数据
【发布时间】：2020-07-21 07:07:54
【问题描述】：

保持数据 QA/UAT 以最好地代表所有场景 PROD 环境的最佳做法是什么？

我们的目的是让底层环境与 PROD 环境一样接近，这样我们就可以在将更改部署到生产环境之前识别和测试底层环境中的所有场景。

一个想法是将过去 X 个月的数据同步到 UAT 并剥离/随机化/去识别个人身份信息，以保护隐私和数据安全。

寻找建议、文章或视频的链接。

【问题讨论】：

【解决方案1】：

假设您有 1 个名为 prod-data 的表。您可以创建另一个名为 uat-table 的表。并使用第一个表的 dynamodb-stream 和 lambda 函数在 uat-table 中插入数据。

在 lambda 函数中

一个。您可以删除 PII 信息

b.在 uat-table 中插入时设置 ttl

c。将 lambda 函数的并发设置较低，以限制消耗的 wcu 数量。

d。设置更高的批量大小，以便 wcu 可以更小。

更多信息请阅读this 文档。

或

您只能使用生产表来访问非 pii 数据。阅读here。

PS此解决方案成本较低，但存在诸多限制。

【讨论】：

感谢您的建议。 IMO，不需要实时同步，每月一次的 lambda 触发器应该足以刷新数据。因此，我们可以在计划的 Lambda 运行期间查询数据并调整 Batch 大小以最小化 RCU / WCU 消耗，而不是 Dynamo DB Stream。