Impala 查询结果中的数值变化

Question

我们有一个大约 10 亿行的 Impala 表和一个 Double 类型的值列。当我们在同一张表上连续多次运行相同的“select {dimensions}, sum(value) from table group by {dimensions}”查询时，每次得到的总和都略有不同。当我们对四舍五入的值求和时也会发生这种情况。这种可变性的原因可能是什么？有没有办法解决这个问题？

Answer 1

由于 Impala 查询的执行是分布式的，因此某些计算发生的顺序可能会因网络可变性或其他过程而有所不同，并且因为浮点运算不是关联的 [1]，这可能会导致行为你看到了。这正是DECIMAL datatype 存在的原因。