JFrog 作为具有身份验证的 Apache Spark 工件答案

【问题标题】：JFrog as Apache Spark artifactory with authenticationJFrog 作为具有身份验证的 Apache Spark 工件
【发布时间】：2023-02-12 21:27:59
【问题描述】：

尝试使用 JFrog 作为 Apache Spark 的经过身份验证的 Artifactory 和 https://用户:密码@url 在这里建议：https://spark.apache.org/docs/latest/submitting-applications.html#advanced-dependency-management 并且它不适用于下一个配置：

"jars":"https://user:pswd@test.jfrog.io/artifactory/default-generic-local/spark-sql-kafka-0-10_2.12-3.0.3.jar"

它不起作用：

22/04/27 15:27:21 INFO SecurityManager - SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(1000690000); groups with view permissions: Set(); users  with modify permissions: Set(1000690000); groups with modify permissions: Set()
Exception in thread "main" java.io.IOException: Server returned HTTP response code: 401 for URL: https://user:pswd@test.jfrog.io/artifactory/default-generic-local/spark-sql-kafka-0-10_2.12-3.0.3.jar

即使您从控制台尝试这项工作：

curl -v "https://user:pswd@test.jfrog.io/artifactory/default-generic-local/"

也是一个未经验证的 JFrog 神器，它工作得很好。使用 Spark 中经过身份验证的工件有什么建议吗？

【问题讨论】：

标签： apache-spark artifactory

【解决方案1】：

您可以使用 https://username:password@jfrog.com/repo，但是您需要指定端口。 https://用户名:密码@jfrog.com:443/repo

我使用 Artifactory 的 Ivy 包类型的“设置”工具发现了这一点。如果您查看解析器 url，它会指定端口。

【讨论】：