将数据从 SQL Server 流式传输到 Azure 数据仓库答案

【问题标题】：Stream Data from SQL Server into Azure Data Warehouse将数据从 SQL Server 流式传输到 Azure 数据仓库
【发布时间】：2019-02-14 06:17:26
【问题描述】：

Microsoft 流程看起来像是将数据从 SQL Server 复制到 Azure 数据仓库的批量导入方法。

是否有更简单的方法，将每秒的流数据从 MS SQL Server 传输到 Datawarehouse。这对于两个 ETL 步骤（Azure 数据工厂，然后是 Polybase）来说似乎过于复杂。我们能否不断地将数据从 SQL Server 流式传输到数据仓库？（我们知道 AWS 允许将数据从 SQL 服务器流式传输到 Redshift DW）。 Stream Data from SQL Server into Redshift

https://azure.microsoft.com/en-us/services/sql-data-warehouse/

【问题讨论】：

我的意思是 Polybase 是数据工厂中的一个复选框，因此您不需要做很多额外的工作。它之所以存在，是因为它是推荐的将数据导入 Azure SQL 数据仓库的最快方式。 ADW 是一种昂贵的产品，可以保持 24x7 全天候运行，因此您只需将数据“流式传输”（复制）到 Data Lake 中，并在其上创建一个外部 Polybase 表。如果需要，在仓库启动时使用 CTAS 将其具体化到仓库中。

标签： sql-server azure azure-sql-database data-warehouse azure-data-factory

【解决方案1】：

您的link 没有说明如何将stream data 从 SQL Server 转移到 Redshift；相反，它建议提供一种数据迁移服务，用于从源到目的地不断进行 ETL 数据处理。如果这是您的目标，您可以编写一个SSIS package（即迁移服务）并使用Azure Data Factory 持续安排它。

【讨论】：

您将使用 Polybase 一次性查询 SQL Server 和 Hadoop/blob 存储（即，我在 SQL Server 中有一些数据，我想与 Hadoop/blob 存储中的数据进行匹配）。这是你的要求之一吗？通常，当您从事务数据库（在您的情况下为 SQL Server）中提取数据并将其移动到另一个数据库以进行分析（SQL 数据仓库）时，您的迁移脚本还会将数据重组为称为事实和维度的表表 (en.wikipedia.org/wiki/Data_warehouse)。

【解决方案2】：

使用 OLEDB 源和目标在 SSIS 包中创建 DFT。在 SSMS 中安排作业。这要简单得多。

【讨论】：