spark读取json中的重复列

Question

我在一个扁平结构的 json 文件上运行了spark.read.json(json_file_path)。

我收到错误消息：

Reference 'col' is ambiguous, could be: col#29582L, col#29632

这可能是由于另一列的名称不同：Col。如果无法修改 json 数据，如何解决？

Answer 1

参考R case of the problem并搜索配置后。

我找到了

spark.conf.set("spark.sql.caseSensitive", "true")

来自https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html