如何将外部包配置到 Apache Spark 中？

Question

我正在构建一个使用 spark-submit 命令执行的 Python 脚本，以从 MongoDB 集合中检索数据并处理获取的数据以生成分析。我正在使用 MongoDB Spark 连接器使用 --packages 选项查询 MongoDB 集合。

但我需要将包配置到 Apache Spark 中并使用 spark submit 命令执行 Python 脚本，而无需 --packages 选项。

Answer 1

来自http://spark.apache.org/docs/latest/submitting-applications.html：

对于 Python，您可以使用 spark-submit 的 --py-files 参数添加 .py、.zip 或 .egg 文件以与您的应用程序一起分发。如果您依赖多个 Python 文件，我们建议将它们打包成 .zip 或 .egg。

因此您可以编写自己的数据加载逻辑层。但是，使用现成的包有很多优点。也许你可以解释为什么你不能使用--packages？

编辑

根据聊天记录，PO 不能使用--packages 的唯一原因是他的jar 因为mongodb 存储在本地（当然不在$PATH 中）。在这种情况下，提供--repositories /PATH/TO/JAR 应该可以解决问题。