如何从字符串列表数据集创建字符串数据集 Spark Java答案

【问题标题】：How to create a Dataset of String from a Dataset of List of String Spark Java如何从字符串列表数据集创建字符串数据集 Spark Java
【发布时间】：2020-02-29 09:42:42
【问题描述】：

我有一个字符串列表数据集，我需要从上面创建一个新数据集，将列表的每个条目作为新数据集中的一行。

List<String> list = new ArrayList("abc", "def", "ghi");

Dataset<String> input = spark.createDataset(list,Encoders.bean(String.class));

新数据集是这样的：

"abc
def
ghi"

【问题讨论】：

标签： java apache-spark apache-spark-sql dataset

【解决方案1】：

您可以使用 flatmap 将字符串列表转换为单个字符串。 // flatMap 每一行到该行中的单词

JavaRDD<String> words = input.toJavaRDD().flatMap(s -> Arrays.asList(s.split(",")).iterator());

【讨论】：