使用 HDInsight 创建外部数据源答案

【问题标题】：Create External Data Source with HDInsight使用 HDInsight 创建外部数据源
【发布时间】：2016-11-27 17:42:02
【问题描述】：

我正在尝试使用我的 HDInsight 群集创建外部数据源。这样做时，我需要提供位置作为 Hadoop、名称、节点、IP 地址和端口号。

那么，我在哪里可以找到 HDInsight 群集上两者的名称、节点、IP 地址、资源管理器位置、IP 地址和端口号？

我已经浏览了 Core-site.xml 和 yarn-site.xml 并没有找到任何 HDInsight。

--- 3：创建外部数据源的语法。

CREATE EXTERNAL DATA SOURCE MyHadoopCluster WITH (  
    TYPE = HADOOP,   
    LOCATION ='hdfs://10.xxx.xx.xxx:xxxx',   
    RESOURCE_MANAGER_LOCATION = '10.xxx.xx.xxx:xxxx',   
    CREDENTIAL = HadoopUser1        
);

-- 位置（必需）：Hadoop 名称节点 IP 地址和端口。
-- 资源管理器位置（可选）：Hadoop 资源管理器位置以启用下推计算。
-- CREDENTIAL（可选）：上面创建的数据库范围凭据。

谢谢。

【问题讨论】：

标签： azure-hdinsight azure-sqldw

【解决方案1】：

如果我正确理解了您的问题，您已经拥有一个 HDInsight 集群，并且正在尝试让 Azure SQL DW 通过外部表与其对话。如果您在文档的语法部分搜索 CREATE EXTERNAL DATA SOURCE 中的“Azure SQL 数据仓库”，您将看到目前 Azure SQL DW 中 Polybase 的唯一工作方式是与 Azure Blob 存储和 Azure Data Lake Store 通信。（请继续关注该文档页面，因为随着时间的推移，Azure SQL DW 中的 Polybase 会变得更加灵活，因为他们会继续增强它。）

所以现在你应该让 HDInsight 写入 Hive 中定义的外部表，然后让 Azure SQL DW 指向 blob 存储中的同一文件夹，并声明它自己的外部表来读取这些 blob。

【讨论】：