【发布时间】:2018-07-06 20:58:07
【问题描述】:
如何通过相邻对减少集合?
例如,令 + 为非关联运算符:
(1, 2, 3, 4, 5, 6) => ((1+2) + (3+4)) + (5+6)
(a, b, c, d, e, f, g, h) => ((a+b) + (c+d)) + ((e+f) + (g+h))
这个问题类似于this,但是我不认为并行集合适用,因为语义需要关联运算符来确定。我不太关心并行执行,而是关心实际关联以构建平衡的表达式树。
【问题讨论】:
-
可能相关:StackOverflowError when operating with a large number of columns in Spark。减少数千列存在问题,因为表示计算的抽象语法树变得不平衡且太深。
标签: scala