spark 如何从 JSON 推断数字类型？答案

【问题标题】：How does spark infers numeric types from JSON?spark 如何从 JSON 推断数字类型？
【发布时间】：2023-03-20 16:58:01
【问题描述】：

尝试从 JSON 文件创建 DataFrame，但是当我加载数据时，spark 会自动推断数据中的数值是 Long 类型，尽管它们实际上是整数，这也是我解析数据的方式我的代码。

由于我在测试环境中加载数据，我不介意使用一些变通方法来修复架构。我已经尝试了很多，例如：

问题是架构非常复杂，而且我所追求的字段是嵌套的，这使得上面的所有选项都不相关或太复杂而无法从头开始编写。

我的主要问题是，spark 如何确定数值是整数还是长整数？我能做些什么来强制所有\一些数字都是特定类型的吗？

谢谢！

【问题讨论】：

【解决方案1】：

默认情况下它总是 LongType。

来自源代码：

// For Integer values, use LongType by default.
case INT | LONG => LongType

所以你不能改变这种行为。您可以按列进行迭代，然后进行强制转换：

for (c <- schema.fields.filter(_.dataType.isInstanceOf[NumericType])) {
    df.withColumn(c.name, col(c.name).cast(IntegerType))
}

这只是一个 sn-p，但这样的东西应该可以帮助你:)

【讨论】：