为什么在 Spark 中通过 monotonically_increasing_id() 计算 row_number() 顺序？

Question

建议您可以'generate unique increasing numeric values' by

select row_number() over (order by monotonically_increasing_id()) from /* ... */

但你也可以这样做：

select row_number() over (order by 1) from /* ... */

在这种情况下，使用monotonically_increasing_id() 有什么好处？

Answer 1

monotonically_increasing_id() 保证 id 不断增加，但不保证它们是连续的。

生成的ID保证单调递增且唯一，但是不连续。