【问题标题】:Migrating data from SQL Server to NoSQL将数据从 SQL Server 迁移到 NoSQL
【发布时间】:2017-09-22 20:23:47
【问题描述】:

SQL Server 上有一个简单的统计数据,它是一种时间序列,只有三列。

unique id (varchar), timestamp (datetime), value (int)

但问题是,该系列每 10 秒出现一次,每日数据大小约为 100,000 行。

数据由 wcf Web 服务使用。

  • %75 作为一个聚合值(包含 avg、min、max、sum)
  • %25 作为基于直接行的结果集
  • 更新和删除太少。

Web 服务(编码为 c#)作为中间层为客户端提供数据,SP 和视图读取数据,wcf 中没有临时查询。

我正计划将该数据移至 NoSql 平台,以便将 SQL Server 用于其他操作。

哪个 nosql 平台是最好的选择?

NoSQL;

  1. 必须有 .Net 语言的驱动程序(以更改 wcf 服务以进行阅读)
  2. 将具有内置聚合(至少对于 sum、avg)

我在考虑 Cassandra,但它在查询数据时没有内置聚合,我不确定在服务层聚合数据是否会很快。

我会很感激任何想法.....

【问题讨论】:

    标签: sql-server nosql-aggregation nosql


    【解决方案1】:

    1)。 MongoDB 有一个聚合框架,一旦你了解它,感觉它比 map/reduce MongoDB/SQL comparison 更接近传统的 SQL 方法。它还有一个 .NET 驱动程序,根据我的经验,它在 windows 和 linux 上启动和运行起来非常快,而且非常稳定。聚合运算符可以在这里看到 MongoDB aggregation operators 如果您需要添加复制,Mongo 的设计考虑到了这一点,而且,恕我直言,设置起来比 SQL Server、Postgres 或 MySQL 要简单得多。

    2)。 RavenDB 是用 .NET 编写的,查询使用 Linq,这可能很吸引人,因为听起来您在 .NET/Windows 环境中工作。 Raven in a nutshell我没用过RavenDB。

    【讨论】:

    • @Adam,出于兴趣,你决定选择什么。
    • 我对 Raven 的体验很糟糕,以后再也不会了。我仍在测试 Mongo 和 Cassandra。完成后我会通知你
    • 你对从sql迁移到mongodb有什么想法?我需要为其他用户将一些表从 sql 迁移到 mongodb,但我不知道 mongdb。 JSON 输出够不够?