Spark Java中多列的聚合

Question

我有动态的列列表priceColumns。 我正在尝试聚合数据集中的这些列，

public Dataset getAgg(RelationalGroupedDataset rlDataset){
Dataset selectedDS=null;
    for(String priceCol :priceColumns){
            selectedDS=rlDataset.agg(expr("sum(cast("+priceCol+" as BIGINT))"));
        }
return selectedDS;
}

以上代码是不正确的代码， 我在这里尝试做的是，基于每个存在的列，聚合应该针对该数据集进行， 如何编写通用代码？我完全被困在这里了。

Answer 1

我尝试了下面的方法，它解决了。

List<Column> columnExpr = priceColumns.stream()
                             .map(col->expr("sum(cast("+col+" as BIGINT))").as(col))
                             .collect(Collectors.toList());

那么，

selectedDS= rlDataset
                    .agg(columnExpr.get(0),
                JavaConverters.asScalaIteratorConverter(columnExpr.subList(1, columnExpr.size())
                    .iterator()).asScala().toSeq());