类型与 Spark-shell 中的相同类型不匹配

Question

我已经围绕 spark-shell 构建了一个脚本工作流，但我经常对发现和所需类型相同的奇怪类型不匹配（可能继承自 scala repl）感到烦恼。下面的例子说明了这个问题。以粘贴模式执行，没问题

scala> :paste
// Entering paste mode (ctrl-D to finish)


import org.apache.spark.rdd.RDD
case class C(S:String)
def f(r:RDD[C]): String = "hello"
val in = sc.parallelize(List(C("hi")))
f(in)

// Exiting paste mode, now interpreting.

import org.apache.spark.rdd.RDD
defined class C
f: (r: org.apache.spark.rdd.RDD[C])String
in: org.apache.spark.rdd.RDD[C] = ParallelCollectionRDD[0] at parallelize at <console>:13
res0: String = hello

但是

scala> f(in)
<console>:29: error: type mismatch;
 found   : org.apache.spark.rdd.RDD[C]
 required: org.apache.spark.rdd.RDD[C]
              f(in)
                ^ 

有相关讨论about the scala repl和about the spark-shell 但提到的issue 似乎与我无关（并且已解决）。

这个问题会导致编写可通过的代码以在 repl 中交互执行的严重问题，或者导致失去在 repl 中工作的大部分优势。有解决办法吗？ （和/或这是一个已知问题？）

编辑：

spark 1.2 和 1.3.0 出现问题。使用 scala 2.10.4 在 spark 1.3.0 上进行的测试

似乎，至少在测试中，重复使用与案例类定义分开的类的语句，缓解了问题

scala> :paste
// Entering paste mode (ctrl-D to finish)


def f(r:RDD[C]): String = "hello"
val in = sc.parallelize(List(C("hi1")))

// Exiting paste mode, now interpreting.

f: (r: org.apache.spark.rdd.RDD[C])String
in: org.apache.spark.rdd.RDD[C] = ParallelCollectionRDD[1] at parallelize at <console>:26

scala> f(in)
res2: String = hello

Answer 1

很遗憾，这仍然是open issue。 spark-shell 中的代码包含在类中，有时会导致strange behavior。

另一个问题：Errors like value reduceByKey is not a member of org.apache.spark.rdd.RDD[(...,...)] 可能是同一个项目中使用不同版本的spark引起的。如果您使用 IntelliJ，请转到 File -> Project Structure -> Libraries 并删除“SBT: org.apache.spark:spark-catalyst_2.10:1.1. 0:jar"。您需要使用 spark 版本 1.2.0 或 1.3.0 的库。

希望它能以某种方式帮助你。