寻找一种替代解决方案来处理从 Azure Blob 到 Azure SQL DB 的数万个 JSON

Question

我目前开发的管道利用 Azure 数据工厂进行编排，利用 Azure DataBricks 进行计算以执行以下操作...我在 Azure Blob 中实时接收数以万计的单记录 json 文件在 15 分钟的基础上，我检查文件夹中是否有任何新文件，一旦发现，我使用 Databricks 将它们加载到数据框中，并将它们加载到 SQL DB 中的单个文件中，然后让其他 ADF 作业触发存储过程，然后将我的数据转换为最终的 SQL 表.... 我们正在寻求远离 Databricks，因为我们不是因为它的真正功能而使用它，但当然要支付 Databricks 成本。寻找其他解决方案的想法，以定期（即 15 分钟）将数以万计的 json 加载到 SQL DB 中（最少或没有转换）。我们是一家微软商店，因此不一定要放弃 Azure 工具。

Answer 1

这里有一些想法：

• 使用 Azure Functions + Blob Trigger / Event Grid 实时处理 JSON 文件（每次新的 JSON 文件到达时，都会触发您的函数）。然后您可以插入到最终表或临时表中。

• 另一个想法是结合 Azure Functions + Blob Trigger / Event Grid 将数据下沉到数据湖。您可以使用 ADF 将其下沉到 SQL 最终表中。

Answer 2

就 JSON 而言，Azure SQL DB 实际上非常强大，因此您可以使用 OPENROWSET 直接从 blob 存储导入数据，然后使用 OPENJSON 将其分解。然后，您可以使用按计划运行的逻辑应用程序，例如每 15 分钟调用一次 proc，您甚至不需要 ADF 作为解决方案的一部分。

我之前已经制定了几个类似的答案，例如 here 和 here，但是如果您想在这条路线上取得更多进展，请告诉我，我们可以制定更详细的答案。