【发布时间】:2011-01-04 00:04:49
【问题描述】:
我们使用 MongoDB 在我们的数据库中存储有关数以万计项目的每日统计日志——该集合目前接近 1 亿条记录。这些数据对数据挖掘很有用,但很少被访问。我们最近将它从我们的主 MySQL 数据库移到了 Mongo 数据库;事实证明这并不理想——Mongo 针对快速读取进行了优化,将其所有索引保存在内存中,并且该表上的索引非常大。
什么是存储大量数据以进行日常大量写入但不经常读取的好方法?我们正在考虑在单独的系统上单独安装 MySQL。另一种可能性可能是不需要在内存中保存索引的 NoSQL 解决方案。
【问题讨论】:
-
你已经使用过mysql中的Archive存储引擎了吗?它直接用于很少引用的数据。 dev.mysql.com/tech-resources/articles/storage-engine.html
-
“什么是为日常大写存储大量数据的好方法,” - 一个数据库服务器,具有良好的硬件和正确的设置
-
考虑使用一些 ETL 工具将旧(er)数据移动到 OLAP 仓库(即使它只是其他地方的另一个 MySQL)。这也可能影响(或受其影响)任何应该发生的数据退休或整形等。