Sbt 控制台从不同的包运行答案

【问题标题】：Sbt console run from different packageSbt 控制台从不同的包运行
【发布时间】：2016-12-15 04:30:56
【问题描述】：

我很好奇是否有可能告诉 sbt 控制台 paste 命令在特定包中执行。

到目前为止，我阅读了有关使用 :paste -raw 的信息，但这并没有成功。

我的问题是由于很好地使用了可写的 sparks 默认参数，这些参数仅在 sparks 私有 API 内部可用，我选择将自定义估计器放入 sparks 命名空间。这在本地运行时效果很好，但是 scala repl 的出色和交互式体验有点被破坏了，因为我无法运行我的估计器，它驻留在 organizations.apache.spark.ml 中

【问题讨论】：

-raw 不是 scala 2.10，只有 2.11+。
我认为:pate -raw 是正确的方法。尝试时遇到什么错误？
其实2.11很适合我。
paste -raw 运行得很好，问题是我需要引用完全限定的命名空间new org.apache.spark.ml.MyThing()。是否有可能“导入”该转换器以引用 MyThing 工作。

标签： scala apache-spark sbt

【解决方案1】：

一种选择是使用您的估算器，使用sbt assembly 将其转换为 jar，然后在您运行 spark shell 或使用 spark-submit 运行时上传该 jar。是否有理由需要使用 spark 命名空间？为什么不使用自己的命名空间？

【讨论】：

正如我试图概述的那样：Apache Spark 2.02（当前版本）没有为管道/估计器序列化打开所有伟大的辅助方法。 Sparks DefaultParamsWriter` 非常简洁。 sbt package / assembly 是一个选项，但它没有那么好/互动。
这里出了点问题，必须有更好的方法以合法的方式实现您想要的，您实际上是在破解 spark 内部结构，而 Spark 不喜欢被篡改。