通过 VPN 的 Azure 身份验证终结点答案

【问题标题】：Azure authentication endpoint over VPN通过 VPN 的 Azure 身份验证终结点
【发布时间】：2022-08-10 18:56:55
【问题描述】：

在这里寻找有关 Azure 基础架构设置的想法。
我的公司有本地 Hadoop 集群和 Azure Data Lake，我们使用 http 代理或 VPN 进行连接（还没有 ExpressRoute）

我们有一个 ETL 应用程序（python、spark），它使用 SPN 将数据从 HDFS 传输到 ADLS——python SDK 用于从 login.microsoftonline.com（通过代理）获取凭据，然后用于 Spark 将文件写入 ADLS gen2通过私有端点。

现在我们想使用 hdfs cli (hdfs dfs -cp hdfs://file abfs://file . 我们发现它在使用 Aceess 密钥并且连接正在通过代理（=公共 ADLS 端点）时工作

尝试通过可从本地集群访问的私有端点访问 ADLS 时，它不起作用 -因为不使用代理我们无法连接到 login.microsoftonline.com.但是一旦设置了代理，我们就只能通过公共 ADLS 端点上传数据。

你知道什么可以帮助我解决这个问题吗？
我唯一想到的就是创建指向互联网地址的内部 DNS 记录

【解决方案1】：

abfs 连接器使用 java 代理 sysprops。因此在 https.nonProxyHosts 中列出 VPN IP/主机名应该足以让这个工作。
建议使用 cloudstore 的 storediag 命令进行诊断，它旨在调试身份验证/连接问题：https://github.com/steveloughran/cloudstore
如果你不能让它工作，请在 apache jira 上针对 hadoop、组件 fs/azure 提交错误报告。首先使用最新版本进行测试，因为“这是否适用于最新版本”可能是第一个响应

【讨论】：