【问题标题】:U SQL: direct output to SQL DBU SQL:直接输出到 SQL DB
【发布时间】:2017-03-26 00:21:51
【问题描述】:

有没有办法将 U-SQL 结果直接输出到 SQL DB,例如 Azure SQL DB?找不到太多相关信息。

谢谢!

【问题讨论】:

标签: azure-data-lake u-sql


【解决方案1】:

U-SQL 目前仅输出到文件或内部表(即 ADLA 数据库中的表),但您有几个选择。 Azure SQL 数据库最近获得了使用 BULK INSERTOPENROWSET 从 Azure Blob 存储加载文件的能力,因此您可以尝试一下。 This article 显示语法并提醒您:

带有公共 Blob 或公共容器的 Azure Blob 存储容器 目前不支持访问权限。

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/yourFolder/yourFile.txt

此处显示了带有 Azure Blob 存储的BULK INSERTOPENROWSET

https://blogs.msdn.microsoft.com/sqlserverstorageengine/2017/02/23/loading-files-from-azure-blob-storage-into-azure-sql-database/

您还可以使用 Azure 数据工厂 (ADF)。它的 Copy Activity 可以分两步将数据从 Azure Data Lake Storage (ADLS) 加载到 Azure SQL 数据库:

  1. 执行在 ADLS 中创建输出文件的 U-SQL 脚本(ADF 中当前不支持将内部表作为源)
  2. 将数据从 ADLS 移动到 Azure SQL 数据库

作为最后一种选择,如果您的数据可能会进入更大的容量(即太字节 (TB),那么您可以使用支持 Polybase 的 Azure SQL 数据仓库。Polybase 现在支持 Azure Blob 存储和 ADLS 作为源。

如果您能告诉我们更多关于您的流程的信息,我们可以改进这些选项中的哪一个最适合您。

【讨论】:

  • 谢谢@wBob。这已经详细回答了我的问题。非常感谢!
猜你喜欢
  • 2019-02-02
  • 2021-12-13
  • 2017-07-26
  • 2019-10-11
  • 2016-01-05
  • 2014-09-22
  • 2019-12-17
  • 2019-06-23
  • 2013-08-06
相关资源
最近更新 更多