【发布时间】：2014-02-16 18:43:04
【问题描述】：
有没有一种方法可以将数据从 SQL Server 复制到 Hadoop，类似于两个 SQL Server 数据库之间的本地事务复制？
我不确定微软是否设计了这样的机制，其中增量数据可以从 SQL Server 事务日志实时复制到 HAdoop。
我们将不胜感激。
【问题讨论】：
标签： sql-server hadoop replication
【发布时间】：2014-02-16 18:43:04
【问题描述】：
我正在尝试对 CDC 做同样的事情。 您可以尝试使用 Teland 原生 CDC 方法。
您可以从以下网址下载 Hortonworks – Talend 沙盒 http://www.talend.com/talend-big-data-sandbox
【讨论】：
我不知道与您正在寻找的功能相似，但您应该考虑以下几点：
-
如果您使用的是普通 Hadoop (HDFS+M/R)，您应该复制大块数据（64mb/128mb/256mb - 一般来说，您的 HDFS 块的大小）。
如果您想将实时数据插入 Hadoop，您应该考虑使用 hbase（这会使 IT 级别和编程级别的事情变得复杂）。
除了数据插入之外，您是否还想复制对数据的更改（即更新、删除）？如果是这样，您唯一的选择就是 hbase。
我会尝试使用 CDC + 代码（在 CLR 存储过程中或在 SSIS 中）来实现这样的机制。
【讨论】：