为数百万条记录扩展数据库

Question

我们正在开发一个应用程序，它每次处理一些代码并输出大量行（数百万！）。我们希望将这些行保存在数据库中，因为处理本身需要几个小时才能完成。

1.保存这些记录的最佳方法是什么？

2。在这里可以使用 NoSql 解决方案吗？

假设我们每天保存 500 万条记录，并且可能会偶尔从中检索。

Answer 1

这取决于您要存储什么样的数据——您能详细说明一下吗？如果数据被整齐地结构化成表格，那么您不一定需要 NoSQL 方法。但是，如果您的数据具有图形或类似网络的结构，那么您应该考虑使用 NoSQL 解决方案。如果后者对您来说是正确的，那么以下内容可能有助于您大致了解一些 NoSQL 数据库：http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis

Answer 2

这在很大程度上取决于您打算如何使用生成的数据。如果您只通过主键查找它，那么 NoSQL 可能会很好，但如果您想要搜索或排序数据（或将行连接在一起），那么 SQL 数据库可能会更好。

基本上，NoSQL 非常擅长将不透明的数据填充到存储中并非常快速地检索任何单个项目。关系数据库非常擅长索引可能被连接在一起或搜索的数据。

任何现代 SQL 数据库每天都可以轻松处理 500 万行 - 磁盘空间更有可能成为您的瓶颈，具体取决于您的行有多大。我没有用 NoSQL 做很多事情，但如果每天 500 万个项目会导致问题，我会感到惊讶。