Spark createdataframe 无法推断模式 - 默认数据类型？答案

【问题标题】：Spark createdataframe cannot infer schema - default data types?Spark createdataframe 无法推断模式 - 默认数据类型？
【发布时间】：2021-10-22 17:21:30
【问题描述】：

我正在使用 createdataframe 在数据块中创建 spark 数据框并收到错误：

'Some of types cannot be determined after inferring'

我知道我可以指定架构，但如果我每次都使用来自 API 的源数据创建数据框并且他们决定对其进行重构，这将无济于事。

相反，我想告诉 spark 对无法推断数据类型的任何列使用“字符串”。

这可能吗？

【问题讨论】：

标签： apache-spark-sql schema databricks

【解决方案1】：

这可以通过delta 格式的架构评估轻松处理。快速参考：https://databricks.com/blog/2019/09/24/diving-into-delta-lake-schema-enforcement-evolution.html

【讨论】：

问题是关于spark.createDataFrame 函数，而不是从增量表中读取
感谢 Karthikeyan，这对所描述的用例很有帮助，但正如 Alex 所说，它并没有完全得到我想要的 - 即避免预先完整指定架构。