我们可以使用 JDBC 将数据从 postgresql 写入 Spark 吗？

Question

我正在尝试将我在 PostgreSQL 上的表加载到 Spark。 我已经使用 jdbc 成功地将表从 PostgreSQL 读取到 Spark。 我有一个用 R 编写的代码，我想在表格上使用它，但我无法访问 R 中的数据。

使用以下代码连接

 val pgDF_table = spark.read
                          .format("jdbc")
                          .option("driver", "org.postgresql.Driver")
                          .option("url", "jdbc:postgresql://10.128.0.4:5432/sparkDB")
                          .option("dbtable", "survey_results")
                          .option("user", "prashant")
                          .option("password","pandey")
                          .load()
    pgDF_table.show 

spark.write 有什么选择吗？

Answer 1

在 SparkR 中，

您可以使用以下代码read 来自 JDBC 的数据：

read.jdbc(url, tableName, partitionColumn = NULL, lowerBound = NULL,
  upperBound = NULL, numPartitions = 0L, predicates = list(), ...)

参数

`url':  JDBC database url of the form 'jdbc:subprotocol:subname'

`tableName':    the name of the table in the external database

`partitionColumn':  the name of a column of integral type that will be used for partitioning

`lowerBound':   the minimum value of 'partitionColumn' used to decide partition stride

`upperBound':   the maximum value of 'partitionColumn' used to decide partition stride

`numPartitions':    the number of partitions, This, along with 'lowerBound' (inclusive), 'upperBound' (exclusive), form partition strides for generated WHERE clause expressions used to split the column 'partitionColumn' evenly. This defaults to SparkContext.defaultParallelism when unset.

`predicates':   a list of conditions in the where clause; each one defines one partition

数据可以written到JDBC，使用如下代码：

write.jdbc(x, url, tableName, mode = "error", ...)

参数

`x`: a SparkDataFrame.

`url`: JDBC database url of the form jdbc:subprotocol:subname.

`tableName`: yhe name of the table in the external database.

`mode`: one of 'append', 'overwrite', 'error', 'ignore' save mode (it is 'error' by default).

`...`: additional JDBC database connection properties.

JDBC 驱动程序必须在 spark 类路径中