MLlib 示例不起作用答案

【问题标题】：MLlib examples not workingMLlib 示例不起作用
【发布时间】：2016-04-25 19:53:11
【问题描述】：

我正在尝试此页面中的 MLlib 示例（在使用 Scala 的 Spark 上）：MLlib Page

所有示例都抛出相同的错误错误。我已经给出了线性回归的结果：

    scala> val model = LinearRegressionWithSGD.train(parsedData, numIterations)
    java.lang.RuntimeException: Error in configuring object
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
    at org.apache.spark.rdd.HadoopRDD.getInputFormat(HadoopRDD.scala:123)
    at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:136)
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:207)
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:205)

有人可以指导一下导致此错误的原因吗？谢谢。

【问题讨论】：

您使用的是哪个版本的 Hadoop？
我正在使用 Hadoop 0.20.2-cdh3u4
您使用的是什么版本的 Spark？在最新的HadoopRDD.scala:123 上，该行是空的
我使用的是 Spark 0.9.0 版。但我认为该问题与 bashrc 文件中的某些问题有关。

标签： scala apache-spark apache-spark-mllib

【解决方案1】：

刚刚找到答案...显然，bashrc 中的某些设置与 Spark 冲突。删除 bashrc 文件解决了这个问题。

【讨论】：