有没有更好的方法将 Iterator[char] 转换为 Seq[String]？

Question

以下是我用来将 Iterator[char] 转换为 Seq[String] 的代码。

val result = IOUtils.toByteArray(new FileInputStream (new File(fileDir)))
val remove_comp = result.grouped(11).map{arr => arr.update(2, 32);arr}.flatMap{arr => arr.update(3, 32); arr}
val convert_iter = remove_comp.map(_.toChar.toString).toSeq.mkString.split("\n")
val rdd_input = Spark.sparkSession.sparkContext.parallelize(convert_iter)

val 文件目录：

12**34567890
12@@34567890
12!!34567890
12¬¬34567890
12
'34567890

我对这段代码不满意，因为数据量很大，转换为字符串最终会得到堆空间。

val convert_iter = remove_comp.map(_.toChar)
convert_iter: Iterator[Char] = non-empty iterator

有没有更好的编码方式？

Answer 1

通过完全忽略关于空字符串等的极端情况，我将从以下内容开始：

val test = Iterable('s','f','\n','s','d','\n','s','v','y')

val (allButOne, last) = test.foldLeft( (Seq.empty[String], Seq.empty[Char]) ) {
  case ((strings, chars), char) =>
    if (char == '\n')
      (strings :+ chars.mkString, Seq.empty)
    else
      (strings, chars :+ char)
}

val result = allButOne :+ last.mkString

我相信它可以变得更优雅，并且可以更好地处理极端情况（一旦你定义了你想要处理它们），但我认为这是一个很好的起点。

但老实说，我并不完全确定您想要实现什么。我只是猜想您想将除以\n 的字符组合在一起并将它们转换为Strings。

Answer 2

查看您的代码，我发现您正在尝试替换特殊字符，例如 **、@@ 等以下数据

12**34567890 12@@34567890 12!!34567890 12¬¬34567890 12 '34567890

为此，您可以使用 sparkContext textFile 读取数据并使用正则表达式 replaceAllIn

val pattern = new Regex("[¬~!@#$^%&*\\(\\)_+={}\\[\\]|;:\"'<,>.?` /\\-]")
val result = sc.textFile(fileDir).map(line => pattern.replaceAllIn(line, ""))

您应该将result 设置为RDD[String]，这也是一个迭代器

1234567890
1234567890
1234567890
1234567890
12
34567890

更新

如果有\n和\r在文本之间在第3和第4位并且如果结果都是固定长度的10位文本那么你可以使用sparkContext 的wholeTextFiles api 并使用以下 regex as

val pattern = new Regex("[¬~!@#$^%&*\\(\\)_+={}\\[\\]|;:\"'<,>.?` /\\-\r\n]")
val result = sc.wholeTextFiles(fileDir).flatMap(line => pattern.replaceAllIn(line._2, "").grouped(10))

你应该得到输出为

1234567890
1234567890
1234567890
1234567890
1234567890

希望回答对你有帮助