如何使用 spark-shell 导入自己的 scala 包？答案

【问题标题】：How to import own scala package using spark-shell?如何使用 spark-shell 导入自己的 scala 包？
【发布时间】：2017-07-23 15:12:19
【问题描述】：

我为 spark-ml 库编写了一个类，该类使用其中的另一个类。如果要清楚，我的类是 RandomForestClassifier 的包装器。现在我想有机会从 spark-shell 导入这个类。

所以问题是：如何制作包含我自己的类的包，它可以从 spark-shell 导入？非常感谢！

【问题讨论】：

它在文档的第一页。

标签： scala apache-spark apache-spark-mllib apache-spark-ml

【解决方案1】：

如果你想导入像Hello.scala这样的未编译文件，请在spark shell中执行以下操作：

scala> :load ./src/main/scala/Hello.scala

【讨论】：

【解决方案2】：

阅读文档：

In the Spark shell, a special interpreter-aware SparkContext is already created for you, in the variable called sc. Making your own SparkContext will not work. You can set which master the context connects to using the --master argument, and you can add JARs to the classpath by passing a comma-separated list to the --jars argument. You can also add dependencies (e.g. Spark Packages) to your shell session by supplying a comma-separated list of maven coordinates to the --packages argument. Any additional repositories where dependencies might exist (e.g. SonaType) can be passed to the --repositories argument.

【讨论】：