如何使用正则表达式过滤掉Scala中的字母数字字符串

Question

我想从我的文件中过滤掉字母数字和数字单词。我正在研究 Spark-Shell。这些是我的文件 sparktest.txt 的内容：

这是 1 个文件，而不是 54783。你想把这个文件写成 Writt3n 吗？ HDFS？

定义要收集的文件：

scala> val myLines = sc.textFile("sparktest.txt")

将该行保存到一个长度大于 2 的单词的数组中：

scala> val myWords = myLines.flatMap(x => x.split("\\W+")).filter(x => x.length >2)

定义要使用的正则表达式。我只想要匹配“[A-Za-z]+”的字符串：

scala> val regexpr = "[A-Za-z]+".r

尝试过滤掉字母数字和数字字符串：

scala> val myOnlyWords = myWords.map(x => x).filter(x => regexpr(x).matches)
<console>:27: error: scala.util.matching.Regex does not take parameters
       val myOnlyWords = myWords.map(x => x).filter(x => regexpr(x).matches)

这就是我卡住的地方。 我希望结果如下所示：

Array[String] = Array(This, file, not, Will, you, this, file, HDFS)

Answer 1

您实际上可以在一次转换中执行此操作，并在您的flatMap 中过滤拆分数组：

val myWords = myLines.flatMap(x => x.split("\\W+").filter(x => x.matches("[A-Za-z]+") && x.length > 2))

当我在 spark-shell 中运行它时，我看到：

scala> val rdd1 = sc.parallelize(Array("This is 1 file not 54783. Would you l1ke this file to be Writt3n to HDFS?"))
rdd1: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[11] at parallelize at <console>:21

scala> val myWords = rdd1.flatMap(x => x.split("\\W+").filter(x => x.matches("[A-Za-z]+") && x.length > 2))
myWords: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[12] at flatMap at <console>:23

scala> myWords.collect
...
res0: Array[String] = Array(This, file, not, Would, you, this, file, HDFS)

Answer 2

您可以使用filter(x => regexpr.pattern.matcher(x).matches) 或filter(_.matches("[A-Za-z]+"))