对 SQL Server RDS 的 AWS 数据管道支持答案

【问题标题】：AWS Data Pipeline Support for SQL Server RDS对 SQL Server RDS 的 AWS 数据管道支持
【发布时间】：2014-04-01 06:11:49
【问题描述】：

我正在尝试查找有关 AWS Data Pipeline 支持的数据源的文档。我需要做的是将 SQL Server RDS 数据导出到 S3。我发现大量文档说 Data Pipeline 可以使用 RDS 作为源，但我看到的每个示例都仅适用于 MySQL RDS。

有人有使用过 Data Pipeline 和 SQL Server RDS 的经验吗？如果是这样，您使用什么数据节点连接到 SQL Server RDS（例如 MySqlDataNode、SqlDataNode）？

最终目标是将数据从 SQL Server RDS 移动到 AWS Red Shift。

谢谢

【问题讨论】：

【解决方案1】：

为此，我们放弃了使用 Data Pipeline。我建议为此使用普通的 ETL 工具。如果您正在运行任何 Windows 服务器，那么 SSIS 可能是最佳选择，否则请查看 Pentaho 或 Talend。

您有任何非 ASCII 数据吗？将数据从 SQL Server 的 UTF16-LE 转换为 UTF8 是我最头疼的问题。我在我的博客 (http://blog.joeharris76.com/2013/09/migrating-from-sql-server-to-redshift.html) 上写了一些解决方案。

【讨论】：

【解决方案2】：

数据管道似乎只内置了对 MySQL RDS 的支持。

一种选择是启动 EMR 集群并使用 sqoop。您可以使用 sqoop 导入 s3 并使用 COPY 命令（或数据管道）将其直接加载到 Redshift。

有一个数据管道 EMRResource。您需要创建一个引导任务，在 master 上下载和设置 sqoop 并获取相关的 jdbc 驱动程序。

EMRActivity 似乎也需要一个 jar 文件，而我只想从 master 上的 shell 脚本运行 sqoop 命令。我不确定这有多么容易解决。也许是带有 EMRResource 的 ShellCommandActivity？

【讨论】：