我即将开始一个新项目，该项目应该有一个相当大的数据库。
表的数量不会很大（
估计该表中的数据量将以每天 500.000 条记录的速度增长，我们应该至少保留 1 年 以便能够做各种报告。
需要有（只读）复制的数据库作为备份/故障转移，并且可能用于在高峰时间卸载报告。
我没有使用大型数据库的第一手经验，所以我问那些拥有哪种数据库的数据库是这种情况下的最佳选择。我知道 Oracle 是安全的选择，但如果有人有类似设置的 Postgresql 或 Mysql 经验，我会更感兴趣。
【问题讨论】：
标签： database data-warehouse evaluation
我在每天看到 100K-2M 新行的环境中使用 PostgreSQL，大多数都添加到一个表中。但是，这些行往往会缩减为样本，然后在几天内删除，因此我无法谈论超过 1 亿行的长期性能。
我发现插入性能相当合理，尤其是在您使用批量复制的情况下。查询性能很好，虽然计划者做出的选择有时让我感到困惑；特别是在执行 JOIN/EXISTS 时。我们的数据库需要定期维护（VACUUM/ANALYZE）以保持其平稳运行。我可以通过更仔细地优化 autovacuum 和其他设置来避免其中的一些问题，如果你不做很多 DELETE，这不是什么大问题。总的来说，我觉得在某些方面配置和维护起来比应有的要困难。
我没有用过Oracle，MySQL只用于小数据集，所以无法比较性能。但 PostgreSQL 对于大型数据集确实工作。
【讨论】：
您有“The Data Warehouse Toolkit”的副本吗？
建议执行以下操作。
将事实（可测量的、数字的）值与限定或组织这些事实的维度分开。一张大桌子并不是最好的主意。它是一个主导设计的事实表，加上许多小维度表以允许对事实进行“切片和切块”。
将事实保存在简单的平面文件中，直到您想要执行 SQL 样式的报告。不要创建和备份数据库。创建和备份文件；仅为必须从 SQL 执行的报告加载数据库。
在可能的情况下创建摘要或额外数据集市以进行分析。在某些情况下，您可能需要将整个内容加载到数据库中。如果您的文件反映了您的表设计，则所有数据库都有批量加载工具，可以从文件中填充和索引 SQL 表。
【讨论】：
Google 的BigTable database 和Hadoop 是两个可以处理大量数据的数据库引擎。
【讨论】：
数据量（每年 2 亿条记录）并不大，应该与任何标准数据库引擎一起使用。
如果您不需要关于它的实时报告，则该案例会更容易。我会在其他服务器上镜像和预聚合数据，例如每日批次。就像 S.Lott 建议的那样，您可能想了解一下数据仓库。
【讨论】：
关于 Google BigTable 的一些有趣的点是...
Bigtable 与 DBMS
正如您提到的，我强调了联接和无 SQL 支持，您将需要运行一系列报告。如果您在哪里使用它，我不知道您没有能力执行此操作会对您运行报告产生多大影响（如果有）。
【讨论】：
我们将Firebird 用于一个非常庞大的数据库（现在保存数据超过 30 年）并且它的扩展性非常好。
最好的一点是您有要配置的属性，但与 Oracle 不同的是，您安装了它，它运行良好，无需在使用前开始配置。
【讨论】：