如何在 pyspark 中安装 postgresql JDBC 驱动程序

Question

我在 lubuntu 16.04 上使用带有 spark 2.2.0 的 pyspark，我想将 Dataframe 写入我的 Postgresql 数据库。现在据我了解，我必须在 spark master 上安装一个 jdbc 驱动程序。我从他们的网站下载了 postgresql jdbc 驱动程序并尝试关注this post。我将spark.jars.packages /path/to/driver/postgresql-42.2.1.jar 添加到spark-default.conf，唯一的结果是pyspark 不再启动。

我有点迷失在 java 领域，我不知道这是否是正确的格式。文档告诉我应该添加一个列表，但我不知道路径列表应该是什么样子。那我不知道我是否还必须指定spark.jars 和或spark.driver.extraClassPath 或者spark.jars.packages 是否足够？如果我必须添加它们，它们是什么格式？

Answer 1

spark.jars.packages 用于可以从 Maven 中提取的依赖项（将其视为 Java 的 pip，尽管类比可能有点松散）。

您可以使用选项--jars /path/to/driver/postgresql-42.2.1.jar 提交您的作业，这样提交时还将提供库，集群管理器将代表您在所有工作程序节点上分发该库。

如果您想将此设置为配置，您可以使用spark.jars 键而不是spark.jars.packages。后者需要 Maven 坐标，而不是路径（这可能是您的工作失败的原因）。

您可以阅读更多关于我在the official documentation 上介绍的配置键的信息。