使用 JDBC 从 Bluemix Apache Spark 服务连接到 postgresql 数据库答案

【问题标题】：Connecting to a postgresql db using JDBC from the Bluemix Apache Spark service使用 JDBC 从 Bluemix Apache Spark 服务连接到 postgresql 数据库
【发布时间】：2016-04-26 02:09:43
【问题描述】：

我在使用 Bluemix 上的 Apache Spark 服务连接到我的 postgresql 8.4 db 时遇到问题。

我的代码是：

%AddJar https://jdbc.postgresql.org/download/postgresql-8.4-703.jdbc4.jar -f
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

sqlContext.load("jdbc", Map("url" -> "jdbc:postgresql://<ip_address>:5432/postgres?
user=postgres&password=<password>", "dbtable" -> "table_name"))

我得到了错误：

名称：java.sql.SQLException

消息：找不到适合 jdbc:postgresql://:5432/postgres?user=postgres&password= 的驱动程序

我已经阅读过，似乎我需要将 JDBC 驱动程序添加到 Spark 类路径。我不知道如何在 Bluemix Apache Spark 服务中执行此操作。

【问题讨论】：

标签： postgresql jdbc apache-spark ipython-notebook ibm-cloud

【解决方案1】：

这在 Bluemix 上对我有用

%AddJar https://jdbc.postgresql.org/download/postgresql-9.4.1208.jar -f

val sqlContext = new org.apache.spark.sql.SQLContext(sc);

val df = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:postgresql://:/", "user" -> "", "password" -> "","dbtable" -> "", "driver" -> "org.postgresql.Driver")).load()

【讨论】：

【解决方案2】：

可能看看here？我相信 load() 函数在 Spark 1.4 [source] 中已被弃用。

你可以试试这个

val url = "jdbc:postgresql://:5432/postgres"
val prop = new java.util.Properties
prop.setProperty("user","postgres")
prop.setProperty("password","xxxxxx")

val table = sqlContext.read.jdbc(url,"table_name",prop)

网址可能需要也可能不需要完整版本 - 即

jdbc:postgresql://:5432/postgres? 用户=postgres&密码=密码

【讨论】：

谢谢，我现在开始使用加载功能，但是你的建议不起作用，我得到同样的“没有合适的驱动程序”异常。

【解决方案3】：

目前在将 JDBC 驱动程序添加到 Bluemix Apache Spark 时存在问题。该团队正在努力解决它。您可以在此处关注进度： https://developer.ibm.com/answers/questions/248803/connecting-to-postgresql-db-using-jdbc-from-bluemi.html

【讨论】：