巨大的插入，没有更新，具有数十亿行数据存储的适度读取

【问题标题】：huge inserts, no updates, moderate reads with billions of rows datastore巨大的插入，没有更新，具有数十亿行数据存储的适度读取
【发布时间】：2016-10-13 11:31:30
【问题描述】：

我们的系统每天需要 1000 万次插入（结构数据），最多存储 3 个月（加起来最多 3 亿条记录，之后我们可以清除旧记录），不需要更新，它应该支持简单的查询（例如对按日期排序的某些特定列的查询）。哪种数据存储解决方案对这种情况有效？我们认为 RDBMS 对于数十亿条记录会很慢。

【问题讨论】：

标签： datastore nosql

【解决方案1】：

如果您可以优化插入方式，MySql 可能会起作用。 http://dev.mysql.com/doc/refman/5.7/en/optimizing-innodb-bulk-data-loading.html

当然，这取决于您的 1M 刀片是否均匀分布或您有选择。

如果您选择的 TPS 非常高，我会推荐 aerospike。

MongoDb 也可以工作，但是您需要使用分片。

【讨论】：

3个月后数据将突破十亿大关，此时mysql在查询上是否表现良好？还有为什么我们需要一个事务数据库以防我们不需要更新？
如果您的插入分布均匀，一个强大的服务器可以处理它。我不知道您的需求事务可能对插入也很重要。对于非常大的表，Mongodb 只有在您使用分片时才能提供巨大的性能优势。