【问题标题】:Database solution for large infrequently-accessed data sets大型不常访问数据集的数据库解决方案
【发布时间】:2011-01-04 00:04:49
【问题描述】:

我们使用 MongoDB 在我们的数据库中存储有关数以万计项目的每日统计日志——该集合目前接近 1 亿条记录。这些数据对数据挖掘很有用,但很少被访问。我们最近将它从我们的主 MySQL 数据库移到了 Mongo 数据库;事实证明这并不理想——Mongo 针对快速读取进行了优化,将其所有索引保存在内存中,并且该表上的索引非常大。

什么是存储大量数据以进行日常大量写入但不经常读取的好方法?我们正在考虑在单独的系统上单独安装 MySQL。另一种可能性可能是不需要在内存中保存索引的 NoSQL 解决方案。

【问题讨论】:

  • 你已经使用过mysql中的Archive存储引擎了吗?它直接用于很少引用的数据。 dev.mysql.com/tech-resources/articles/storage-engine.html
  • “什么是为日常大写存储大量数据的好方法,” - 一个数据库服务器,具有良好的硬件和正确的设置
  • 考虑使用一些 ETL 工具将旧(er)数据移动到 OLAP 仓库(即使它只是其他地方的另一个 MySQL)。这也可能影响(或受其影响)任何应该发生的数据退休或整形等。

标签: mysql mongodb nosql


【解决方案1】:

你是对的,nosql 适合快速读取简单数据。由于需要查询并可能对此数据进行关系操作,因此我建议为此单独安装 mysql。

您将希望最小化 sql 索引以实现快速写入。

【讨论】:

  • 取决于所讨论的“nosql”实现。
猜你喜欢
  • 2011-11-16
  • 1970-01-01
  • 2012-05-26
  • 1970-01-01
  • 2011-01-17
  • 2012-06-19
  • 2011-10-01
  • 2012-09-10
  • 2014-09-04
相关资源
最近更新 更多