在 Jupyter Scala 笔记本中运行 h2o

Question

我试图让 h2o 在带有 scala 内核的 Jupyter 笔记本上运行，但到目前为止没有成功。也许有人可以给我一个提示可能出了什么问题？我现在正在执行的代码是

classpath.add("ai.h2o" % "sparkling-water-core_2.10" % "1.6.5")

import org.apache.spark.h2o._
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

val conf = new SparkConf().setAppName("appName").setMaster("local")
val sc = new SparkContext(conf)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val h2oContext = new H2OContext(sc).start()

它在最后一行失败并出现错误

java.lang.NoClassDefFoundError: water/H2O
....

并打印出异常

java.lang.RuntimeException: Cannot launch H2O on executors: numOfExecutors=1, executorStatus=(driver,false) (Cannot launch H2O on executors: numOfExecutors=1, executorStatus=(driver,false))
org.apache.spark.h2o.H2OContextUtils$.startH2O(H2OContextUtils.scala:169)
org.apache.spark.h2o.H2OContext.start(H2OContext.scala:214)

Answer 1

如果您使用Toree，

在/usr/local/share/jupyter/kernels/apache_toree_scala/kernel.json

你应该添加 - 包装ai.h2o：sparkling-water-core_2.10：1.6.6在__toree_spark_opts__，如

“__ toree_spark_opts____________________________________________________ *] --executor-memory 12g -driver-memory 12g - packages ai.h2o：sparkling-wilter-core_2.10：1.6.6”， p >

然后，在创建笔记本时，会创建SC。所以你不需要重新创建sc。