提供数据分析的数据库策略

Question

我提供了一个处理实体店运营的解决方案。我的下一步是为我的客户提供分析。

由于我处于起步阶段，因此我希望自己找到一种免费的方法，而不是使用第三方解决方案。在这一点上，我并不期待大规模，但我想把它做好，而不是从生产数据库中运行查询。

我正在考虑出于性能问题，我应该从同一数据库中的不同表运行分析查询。每晚都会运行一个 cron 作业，将生产表中的数据复制到分析表中。

这是正确的做法吗？

我想到的另一个选择是从不同的数据库（而不仅仅是表）运行分析。我将 Amazon RDS 与 MySQL 一起使用是否更方便？

Answer 1

这取决于您要提供多少分析。

我是一名 DWH 经理，将从一个小型（免费）BI（商业智能）解决方案开始。 您的生产数据库和分析数据库应始终分开。

1. 看看 Pentaho 数据集成（社区版），它是一个免费的 ETL 工具，可帮助您将数据从生产中获取到分析数据库，还可以执行转换。
2. 查看一些免费的报告软件，例如 Jaspersoft，以帮助您为客户提供报告平台（如果这是您想要的，否则只需使用 Excel）。
3. BI 从不想丢弃数据。如果您认为分析数据库中的数据会变得很大（2TB +），请不要使用 MySQL，而应使用 PostgreSQL。 MySQL 不能很好地处理大数据。
4. 如果您对此非常认真，请阅读 Ralph Kimball 的“数据仓库工具包”。这将使您掌握一些基本的数据仓库知识。

Answer 2

Amazon RDS 提供了称为 Read-Replica 的东西。它自动执行复制并针对阅读进行了优化。

我喜欢这个解决方案，因为它非常方便。缺点：它的价格标签。