java - 如何在没有withColumn的情况下将Spark Dataset的所有列转换为Java中的String？

Question

我已尝试使用此处指定的 withColumn 的解决方案：

How to cast all columns of Spark dataset to string using Java

但是，该解决方案会影响大量列（1k-6k）的性能。它需要超过 6 个小时，然后中止。

或者，我正在尝试使用 map 进行如下投射，但在这里出现错误：

MapFunction<Column, Column> mapFunction = (c) -> {
    return c.cast("string");
};      

dataset = dataset.map(mapFunction, Encoders.bean(Column.class));

上面的 sn-p 错误：

The method map(Function1<Row,U>, Encoder<U>) in the type Dataset<Row> is not applicable for the arguments (MapFunction<Column,Column>, Encoder<Column>)

进口使用：

import org.apache.spark.api.java.function.MapFunction;

Answer 1

您确定您的意思是 1k-6k 列还是行？

但无论如何，我一般都是这样转换列的：

import spark.implicits._

val df = Seq((1, 2), (2, 3), (3, 4)).toDF("a", "b")

val cols = for {
  a <- df.columns
} yield col(a).cast(StringType)

df.select(cols : _*)

Answer 2

为任何寻找这个的人找到了以下解决方案：

String[] strColNameArray = dataset.columns();
List<Column> colNames = new ArrayList<>();
for(String strColName : strColNameArray){
    colNames.add(new Column(strColName).cast("string"));
}
dataset = dataset.select(JavaConversions.asScalaBuffer(colNames));`