在 Azure sql 中引入和处理数据的选项答案

【问题标题】：Options for ingesting and processing data in Azure sql在 Azure sql 中引入和处理数据的选项
【发布时间】：2020-03-05 10:33:28
【问题描述】：

我需要专家对我正在进行的项目的意见。我们目前使用调用存储过程的本地脚本获取加载到 Azure sql 数据库中的数据文件。我计划用 ssis 作业替换脚本以将数据加载到我们的 Azure Sql 中，但想知道这是否是一个不错的选择，因为我们需要。我也愿意接受不同的建议。我们经历的过程是将数据文件加载到临时表并在更新实时表之前进行验证。验证和更新是通过调用存储过程来完成的……所以 ssis 包只会加载数据并调用这些存储过程。我看过 ADF IR 和 Databricks，但它们似乎有点矫枉过正，但也乐于听取有使用这些经验的人的意见。我目前也在本地运行 ssis 包。对这种情况下更好的架构或工具有什么建议吗？谢谢！

【问题讨论】：

标签： azure-sql-database etl data-processing

【解决方案1】：

我肯定会看看 Azure 数据工厂数据流。有了这个，您可以在 Azure 数据工厂 GUI 中轻松构建 ETL 管道。

在以下示例中，读取、连接 Blob 存储中的两个文本文件，添加代理键，最后将数据加载到 Azure Synapse Analytics（与 Azure SQL 相同）：

您最终将这个映射数据流放入管道并可以触发它，例如。 G。如果有新数据到达。

【讨论】：

【解决方案2】：

您可以从 Azure Blob 存储中批量插入数据：

https://docs.microsoft.com/en-us/sql/relational-databases/import-export/examples-of-bulk-access-to-data-in-azure-blob-storage?view=sql-server-ver15#accessing-data-in-a-csv-file-referencing-an-azure-blob-storage-location

然后您可以使用 ADF（无 IR）或 Databricks 或 Azure Batch 或 Azure Elastic Jobs 来安排执行。

【讨论】：

感谢您的建议！我会为你提到的选项设置测试。