【问题标题】:Azure architecture to reliably import large amount of XML files to an Azure SQL table可靠地将大量 XML 文件导入 Azure SQL 表的 Azure 体系结构
【发布时间】:2016-08-04 23:36:49
【问题描述】:

我正在寻找将大量 XML 文件导入 SQL Azure 表的架构元素和指南。

以下是XML文件格式和输入的特点:

  • xml 文件不大。
  • XML 文件的架构非常简单且定义明确。
  • 正在处理大量 XML 文件 复制到一个blob存储中 小时。

我希望将带有 BLOB 存储输入的 Azure 流分析用作完美的解决方案。但是,Azure 流分析不支持 XML 格式 :(

我非常了解 SSIS 选项;但是,SSIS 是一个 IaaS,我正在寻找基于 Azure 的 PaaS 选项。

我的 Azure PaaS 架构选项有哪些?

【问题讨论】:

    标签: azure azure-sql-database azure-blob-storage


    【解决方案1】:

    推荐的解决方案是在流分析提取数据之前使用 Azure 数据工厂执行数据转换,尽管数据工厂也很乐意将数据直接发送到 SQL 表中。

    有一篇很好的博文Solving the “big legacy data” problem using Azure Data Factory… 解释了这一切。

    【讨论】:

    • 谢谢@Michael ADF 中的触发机制是什么?我需要在将 XML 文件上传到 BLOB 后立即对其进行处理。 SA 很好地扫描 blob 存储,获取新的 XML 文件并处理它们。 ADF 可以类似地监视 blob 中的新文件吗?
    【解决方案2】:

    您不能直接将其写入 SQL DB 吗? SQL DB 中的 XML 数据类型功能应该足以进行解析。这提供了一些示例代码:http://www.sqlserver.info/syntax/parse-xml-with-sql-server/

    如果您不控制 Blob 存储的上游,则可以使用一些选项来跟踪更改并将数据泵入 SQL DB。最简单的可能只是绑定到 Blob 的 WebJob:这应该可以帮助您入门:https://github.com/Azure/azure-webjobs-sdk-samples/tree/master/BasicSamples/BlobOperations

    中还有一点延迟

    HTH。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2012-08-23
      • 2017-11-15
      • 2015-05-26
      • 1970-01-01
      • 1970-01-01
      • 2018-03-17
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多