根据 Apache Spark 中的数组中的单词过滤 DataFrame

Question

我试图通过仅获取包含数组中单词的那些行来过滤数据集。 我正在使用 contains 方法，它适用于字符串但不适用于数组。下面是代码

val dataSet = spark.read.option("header","true").option("inferschema","true").json(path).na.drop.cache()

val threats_path = spark.read.textFile("src/main/resources/cyber_threats").collect()

val newData = dataSet.select("*").filter(col("_source.raw_text").contains(threats_path)).show()

它不起作用，因为威胁路径是字符串数组并且包含字符串的工作。任何帮助将不胜感激。

Answer 1

您可以在列上使用isinudf

它会变成这样，

val threats_path = spark.read.textFile("src/main/resources/cyber_threats").collect()

val dataSet = ???

dataSet.where(col("_source.raw_text").isin(thread_path: _*))

请注意，如果 thread_paths 的大小很大，这将影响性能，因为collect 和使用isin 的过滤器。

我建议您将过滤器dataSet 与threats_path 结合使用join。它会像这样，

val dataSet = spark.read.option("header","true").option("inferschema","true").json(path).na.drop

val threats_path = spark.read.textFile("src/main/resources/cyber_threats")

val newData = threats_path.join(dataSet, col("_source.raw_text") === col("<col in threats_path >"), "leftouter").show()

希望对你有帮助