如何使用带有大十进制数的火花？

Question

我的数据库有numeric 值，最大为 256 位无符号整数。但是，spark 的 decimalType 有 Decimal(38,18) 的限制。

当我尝试对列进行计算时，会引发异常。

java.lang.IllegalArgumentException：要求失败：十进制精度 39 超过最大精度 38"。

是否有任何第三方库或解决方法可以解决此问题？或者 Spark 是为小于 Decimal(38,18) 的数字设计的？

Answer 1

如果必须存储为数字类型：

• cast(value as Double)（可能会丢失精度）
• cast(value as Decimal(38, 18))（可能溢出）

如果您的数据不需要参与计算，您可以将其转换为String。