在 Spark 2.x 的 JDBC 中设置 fetchSize？

【问题标题】：set fetchSize in JDBC in Spark 2.x?在 Spark 2.x 的 JDBC 中设置 fetchSize？
【发布时间】：2019-05-06 16:11:08
【问题描述】：

fetchSize 错误：

TypeError: jdbc() 得到了一个意外的关键字参数 'fetchSize'

我尝试阅读为

mydf = spark.read.jdbc(url, table, numPartitions=20, column=partitionColumn, lowerBound=0, upperBound=1000, fetchSize = 10000, properties=properties)

【问题讨论】：

比你早两小时询问the same question是巧合吗？

标签： postgresql apache-spark jdbc

【解决方案1】：

我不确定性能，但试试下面的代码。这不会抛出错误

df = (spark.read.format("jdbc").option("url", url)
  .option("dbtable", "mytable") 
  .option("user", user) .option("password", password) 
  .option("numPartitions", "100").option("fetchsize","10000")
  .option("partitionColumn", "id")
  .option("lowerBound", "1").option("upperBound","1000000").load())

【讨论】：