Spark将DataFrame写入jdbc错误

Question

我想像这样将预测结果DataFrame写回oracle数据库： model.transform(testDate).write.mode(SaveMode.Overwrite).j​​dbc(url,"b_spark_tst",prop)

但我收到此错误消息：

Exception in thread "main" java.lang.IllegalArgumentException: Can't get JDBC type for array<string>

谁能帮助我如何将 DataFrames 写入数据库？

谢谢！

更新：

这就是我的 DataFrame 架构的样子：

root
 |-- CATEG: string (nullable = true)
 |-- COMM: string (nullable = true)
 |-- label: double (nullable = true)
 |-- words: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- features: vector (nullable = true)
 |-- rawPrediction: vector (nullable = true)
 |-- probability: vector (nullable = true)
 |-- prediction: double (nullable = true)

Answer 1

我遇到了同样的问题，这与您尝试将元素字段保存在单词字段数组中的方式有​​关。一种解决方案是将该数组保存为字符串。

就我而言，我有：

 |-- jurisdiction_names: array (nullable = true)
 |    |-- element: string (containsNull = true)

我正在使用 pyspark 做的是

newDataFrame = completeDataFrame.select("jurisdiction_names")

我得到了

+--------------------+
|  jurisdiction_names|
+--------------------+
|             [Paris]|
|         [Amsterdam]|
|      [Santa Monica]|
|[DISTRICT OF COLU...|
|             [Paris]|
|[Illinois State, ...|
+--------------------+

使用新的数据框，您可以轻松地操作信息。