使用没有整数列的 Spark（并行）从关系数据库中提取数据？

Question

Databricks 文档提到，在跨多个工作人员从关系数据库读取数据时，我们必须提供“partitionColumn、lowerBound、upperBound 和 numPartitions”值。还提到partitionColumn应该是一个整数列。然后如何从没有整数列的表中进行并行读取？

Databricks Documentation

我尝试使用“rownum”（来源是 Oracle DB）作为分区列，但是当我尝试将结果存储在数据帧中时，我只从第一个分区获取数据。

代码如下：

jdbcUrl = "jdbc:oracle:thin:@//{0}:{1}/{2}".format(hostname, port, db)



connectionProperties = {
  "user" : 'XXXXXX',
  "password" : 'XXXXXX',
  "driver" : "oracle.jdbc.driver.OracleDriver",
  "oracle.jdbc.timezoneAsRegion" : "false"
}

parallel_df = spark.read.jdbc(url=jdbcUrl,
                          table=table_name, 
                          column='rownum', 
                          lowerBound=1, 
                          upperBound=200000, 
                          numPartitions=20,
                          properties=connectionProperties)

当我得到 parallel_df 的计数时，我只得到 200000/20 = 10000 行。谁能提供有关如何执行此并行读取的任何见解？

Answer 1

当我得到 parallel_df 的计数时，我只得到 200000/20 = 10000 行。谁能提供有关如何进行这种并行读取的任何见解？

当您以这种方式（即使用分区）读取数据帧时，spark 将对每个分区进行查询，在您的情况下类似于

select t.* from table t where rownum between (1, 10000)  on executor 1
select t.* from table t where rownum between (10001, 20000) on execuotr 2

and so on ...

从 oracle 的角度来看，查询是不相关的，并且 rownum（像往常一样）总是从 1 开始，因此您只能从第一个查询中获得前 10000 行。

Databricks 文档提到我们必须提供 'partitionColumn、lowerBound、upperBound 和 numPartitions' 值 同时从多个工作人员的关系数据库中读取数据。

没错，但您不必不惜一切代价这样做。如果您的数据没有适合数据分区/拆分的列，则不要使用该功能

val df = spark.read.jdbc(url=jdbcUrl, table=table_name, properties=connectionProperties)