如何查询 Azure 数据湖？ [关闭]答案

【问题标题】：How to query Azure Data Lake? [closed]如何查询 Azure 数据湖？ [关闭]
【发布时间】：2017-11-17 18:51:41
【问题描述】：

来自数据库世界，当我们有一些与数据相关的东西时，我们会使用 ui 工具来查询数据。不管是大是小。

Azure Data Lake 是否有 SSMS、SQL WorkBench（用于大数据 Redshift）、Athena（查询大数据 S3）之类的东西？

我看到 Data Lake Analytics 只是查询数据并将其存储在文件中。是否可以通过 UI 工具或基于 Web 的工具查询 Azure Data Lake 上的数据？

【问题讨论】：

标签： azure azure-data-lake

【解决方案1】：

没有（还没有）。当然，您可以使用门户或使用 Visual Studio (docs) 或 Visual Studio Code (docs) 运行查询，但所有这些工具都将提供对生成文件的访问权限（可以轻松获取或预览）

主要原因是 u-sql / 数据湖分析面向长时间运行的作业（可能需要几分钟到几小时）来处理大量数据。牢记这一点，您有望更好地理解为什么这类直接查询工具（还没有？）可用。

编辑：尝试在反馈网站上投票 this。您要问的是一个非常需要的功能。

【讨论】：

听到关于数据库产品的信息真是太垃圾了。没问题，这不是第一次对 Azure 产品感到不满。说它是一种可供公众使用的云服务还有很长的路要走。

【解决方案2】：

您可以在此处https://azure.microsoft.com/en-us/features/storage-explorer/ 下载 Azure 数据资源管理器表单上传、下载和管理 Azure Blob、文件、队列和表，以及 Azure Cosmos DB 和 Azure Data Lake Storage 实体。轻松访问虚拟机磁盘，并使用 Azure 资源管理器或经典存储帐户。管理和配置跨域资源共享规则

【讨论】：

【解决方案3】：

您可以在 SQL Server 中创建指向 Data Lake Files 的外部表。唯一的事情是我们必须手动处理架构更改。

【讨论】：

试过那个选项。它非常慢。任重而道远。

【解决方案4】：

您可以通过 azure 数据块使用 Spark SQL 来查询 Azure Data Lake 文件。

【讨论】：