训练时引发随机森林 indexoutofbounds 异常答案

【问题标题】：Spark random forest indexoutofbounds exception when training训练时引发随机森林 indexoutofbounds 异常
【发布时间】：2015-12-11 03:36:42
【问题描述】：

我正在尝试运行 MLLIB 的随机森林模型并遇到一些超出范围的异常：

15/09/15 01:53:56 INFO scheduler.DAGScheduler: ResultStage 5 (collect at DecisionTree.scala:977) finished in 0.147 s
15/09/15 01:53:56 INFO scheduler.DAGScheduler: Job 5 finished: collect at DecisionTree.scala:977, took 0.161129 s
15/09/15 01:53:57 INFO rdd.MapPartitionsRDD: Removing RDD 4 from persistence list
15/09/15 01:53:57 INFO storage.BlockManager: Removing RDD 4
Traceback (most recent call last):
  File "/root/random_forest/random_forest_spark.py", line 142, in <module>
    main()
  File "/root/random_forest/random_forest_spark.py", line 121, in main
    trainModel(dset)
  File "/root/random_forest/random_forest_spark.py", line 136, in trainModel
    impurity='gini', maxDepth=4, maxBins=32)
  File "/root/spark/python/lib/pyspark.zip/pyspark/mllib/tree.py", line 352, in trainClassifier
  File "/root/spark/python/lib/pyspark.zip/pyspark/mllib/tree.py", line 270, in _train
  File "/root/spark/python/lib/pyspark.zip/pyspark/mllib/common.py", line 128, in callMLlibFunc
  File "/root/spark/python/lib/pyspark.zip/pyspark/mllib/common.py", line 121, in callJavaFunc
  File "/root/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py", line 538, in __call__
  File "/root/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/protocol.py", line 300, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o47.trainRandomForestModel.
: java.lang.IndexOutOfBoundsException: 1337 not in [0,1337)
        at breeze.linalg.SparseVector$mcD$sp.apply$mcD$sp(SparseVector.scala:74)
        at breeze.linalg.SparseVector$mcD$sp.apply(SparseVector.scala:73)
        at breeze.linalg.SparseVector$mcD$sp.apply(SparseVector.scala:49)
        at breeze.linalg.TensorLike$class.apply$mcID$sp(Tensor.scala:94)
        at breeze.linalg.SparseVector.apply$mcID$sp(SparseVector.scala:49)
        at org.apache.spark.mllib.linalg.Vector$class.apply(Vectors.scala:102)
        at org.apache.spark.mllib.linalg.SparseVector.apply(Vectors.scala:636)
        at org.apache.spark.mllib.tree.DecisionTree$$anonfun$26.apply(DecisionTree.scala:992)
        at org.apache.spark.mllib.tree.DecisionTree$$anonfun$26.apply(DecisionTree.scala:992)
        at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
        at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
        at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
        at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)
        at scala.collection.TraversableLike$class.map(TraversableLike.scala:244)
        at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:108)
        at org.apache.spark.mllib.tree.DecisionTree$.findSplitsBins(DecisionTree.scala:992)
        at org.apache.spark.mllib.tree.RandomForest.run(RandomForest.scala:151)
        at org.apache.spark.mllib.tree.RandomForest$.trainClassifier(RandomForest.scala:289)
        at org.apache.spark.mllib.api.python.PythonMLLibAPI.trainRandomForestModel(PythonMLLibAPI.scala:666)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231)
        at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:379)
        at py4j.Gateway.invoke(Gateway.java:259)
        at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
        at py4j.commands.CallCommand.execute(CallCommand.java:79)
        at py4j.GatewayConnection.run(GatewayConnection.java:207)
        at java.lang.Thread.run(Thread.java:745)

我使用正确运行的 data/mllib/sample_libsvm_data.txt 运行了示例 python 代码 here。但是，当我使用自己的 RDD 时，会出现上述错误。我的 RDD 条目的格式是来自 mllib 的 LabeledPoint，而每个标记点的索引由 mllib SparseVector 描述。我正在从一个 numpy csr 矩阵加载稀疏向量的数据。

我并没有真正看到样本加载数据和我自己的数据有什么不同。但我确实注意到错误似乎总是在我的 RDD 的最后一个元素上调用。

编辑： 我在随机森林上训练的数据的示例测试用例产生了以下错误：

py4j.protocol.Py4JJavaError: An error occurred while calling o46.trainRandomForestModel.
: java.lang.IndexOutOfBoundsException: 1071 not in [0,1071)

然后，我尝试使用以下方法更多地查看我的数据：

>>> dset = data.collect()
>>> dset[-1].features.size
1721

每个条目都是以下类型：

>>> type(dset[-1].features)
<class 'pyspark.mllib.linalg.SparseVector'>

dset[-1] 的输出格式为：

LabeledPoint(0.0, (2286,[44673,64508,65588,122081,306819,306820,382530,401432,465330,465336,505179,512444,512605,517844,526648,595536,595540,615236,628547,629226,810553,938019,1044478,1232743,... ... ...],[1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,... ... .. ]))

注意特征个数的大小是一样的，就是错误信息的索引。

【问题讨论】：

标签： python apache-spark random-forest apache-spark-mllib

【解决方案1】：

我找到了出现这些错误的原因，所以我将其发布在这里，以防其他人也遇到它。

tl;dr 我为 SparseVector 的大小存储了错误的值。

MLLIB 的 LabeledPoint 对象实例包含 label 和 features，其中 features 应该是 SparseVector 对象。这个稀疏对象是使用SparseVector(vector_size, nonzero_indices, data) 声明的。

但是，我不小心使用了多个非零值作为vector_size。这可以在我的示例 LabeledPoint 输出中看到 LabeledPoint(0.0, (2286,[44673,64508, ...

在这里我们可以看到我声明了我的大小为 2286，但是即使我的第一个索引 (44673) 也大于我声明的数组大小，这让我很头疼。

将 2286 更改为正确的真正非稀疏数组大小解决了问题

【讨论】：

我一直坚持同样的事情，改变为正确的非稀疏数组大小是什么意思？您还提到了 nonzero_indices - 这是否意味着从 1 到 N 的索引？
因此，例如，如果您有一个向量 (1,0,0,2,3) 并且您使用的是稀疏向量，则非稀疏数组大小为 5，因为总共有5个元素。这里的 nonzero_indices 是 (0,3,4) 因为这些是没有非零数字的索引。希望对您有所帮助。