Spark Scala - TokenizerExample - Intellij 错误

Question

我在编译 Spark-Scala 包附带的“TokenizerExample”时遇到问题。

我已经在 IntelliJ 中设置了我的环境，并且能够成功编译其他 Spark-Scala 示例，例如 NaiveBayes、CosineSimilarity 等。

但是当我将“TokenizerExample”加载到 IntelliJ IDE 中时，系统会在下面一行显示一条错误消息，指出“无法解析具有此类签名的引用转换”：

val tokenized = tokenizer.transform(sentenceDataFrame)

val regexTokenized = regexTokenizer.transform(sentenceDataFrame)

我没有进行任何编辑，我可以观察到问题出在转换方法上。你能帮我解决这个问题吗？感谢您的支持。

谢谢！

Answer 1

SBT/Maven，确保您拥有 mllib 模块的 .sbt 或 pom.xml 文件中列出的所有依赖项并重新构建。我个人没有在 mllib 上工作，但是如果我们没有很好地解决依赖关系，就会出现这种错误。谢谢。