Spark、ML、StringIndexer：处理看不见的标签

Question

我的目标是构建一个多类分类器。

我已经构建了一个用于特征提取的管道，它包括作为第一步的 StringIndexer 转换器，用于将每个类名映射到一个标签，这个标签将用于分类器训练步骤。

管道拟合训练集。

为了提取相同的特征向量，测试集必须经过拟合管道处理。

知道我的测试集文件具有与训练集相同的结构。这里可能的场景是在测试集中遇到一个看不见的类名，这样StringIndexer将无法找到标签，并引发异常。

这种情况有解决方案吗？或者我们怎样才能避免这种情况发生？

Answer 1

恐怕没有好办法。要么

• 在应用StringIndexer之前过滤掉带有未知标签的测试示例
• 或将StringIndexer 放入训练和测试数据框的联合中，这样您就可以放心所有标签都在那里
• 或将带有未知标签的测试示例用例转换为已知标签

以下是执行上述操作的一些示例代码：

// get training labels from original train dataframe
val trainlabels = traindf.select(colname).distinct.map(_.getString(0)).collect  //Array[String]
// or get labels from a trained StringIndexer model
val trainlabels = simodel.labels 

// define an UDF on your dataframe that will be used for filtering
val filterudf = udf { label:String => trainlabels.contains(label)}

// filter out the bad examples 
val filteredTestdf = testdf.filter( filterudf(testdf(colname)))

// transform unknown value to some value, say "a"
val mapudf = udf { label:String => if (trainlabels.contains(label)) label else "a"}

// add a new column to testdf: 
val transformedTestdf = testdf.withColumn( "newcol", mapudf(testdf(colname)))

Answer 2

在火花1.6中有一种方法。

这是Jira：https://issues.apache.org/jira/browse/SPARK-8764

这是一个例子：

val categoryIndexerModel = new StringIndexer()
  .setInputCol("category")
  .setOutputCol("indexedCategory")
  .setHandleInvalid("skip") // new method.  values are "error" or "skip"

我开始使用它，但最终返回到克里斯普的第2个符号点，即将这个特定的估算器拟合到完整的数据集。

当您转换indextostring时，稍后您需要在管道中。

这是修改示例：

val categoryIndexerModel = new StringIndexer()
  .setInputCol("category")
  .setOutputCol("indexedCategory")
  .fit(itemsDF) // Fit the Estimator and create a Model (Transformer)

... do some kind of classification ...

val categoryReverseIndexer = new IndexToString()
  .setInputCol(classifier.getPredictionCol)
  .setOutputCol("predictedCategory")
  .setLabels(categoryIndexerModel.labels) // Use the labels from the Model

Answer 3

在我的例子中，我在一个大型数据集上运行 spark ALS，并且数据在所有分区都不可用，所以我必须适当地缓存（）数据，它就像一个魅力

Answer 4

对我来说，通过设置参数 (https://issues.apache.org/jira/browse/SPARK-8764) 完全忽略行并不是真正可行的解决问题的方法。

我最终创建了自己的 CustomStringIndexer 转换器，它将为训练时未遇到的所有新字符串分配一个新值。您也可以通过更改 spark 功能代码的相关部分来做到这一点（只需删除 if 条件显式检查并使其返回数组的长度）并重新编译 jar。

确实不是一个简单的修复，但它肯定是一个修复。

我记得在 JIRA 中也看到了一个错误来合并它：https://issues.apache.org/jira/browse/SPARK-17498

不过，它将与 Spark 2.2 一起发布。我猜只需要等待：S

Answer 5

使用 Spark 2.2（2017 年 7 月发布），您可以在创建索引器时使用 .setHandleInvalid("keep") 选项。使用此选项，索引器会在看到新标签时添加新索引。

val categoryIndexerModel = new StringIndexer()
  .setInputCol("category")
  .setOutputCol("indexedCategory")
  .setHandleInvalid("keep") // options are "keep", "error" or "skip"

来自documentation：当您在一个数据集上安装一个 StringIndexer 然后使用它来转换另一个数据集时，StringIndexer 如何处理看不见的标签有三种策略：

• 'error'：抛出异常（默认）
• 'skip'：完全跳过包含看不见标签的行（删除输出中的行！）
• 'keep'：将看不见的标签放在一个特殊的附加桶中，索引为 numLabels

有关 StringIndexer 的输出如何查找不同选项的示例，请参阅链接文档。