【发布时间】:2018-12-01 04:31:38
【问题描述】:
我正在处理非常基本的 Spark Streaming Scala 代码。代码如下
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.storage.StorageLevel
import org.apache.spark.SparkConf
object TestStreamProcessor {
def main(args: Array [String]) {
val batchInterval = 5
val sparkConfig = new SparkConf().setAppName("TestKinesisConsumer")
val ssc = new StreamingContext(sparkConfig, batchInterval)
ssc.start()
ssc.awaitTerminationOrTimeout(batchIntervalSeconds * 5 * 1000)
}
}
但是在使用 maven 构建代码时遇到错误。
error: org.apache.spark.streaming.StreamingContext does not have a constructor
[INFO] val ssc = new StreamingContext(sparkConfig, batchInterval)
以前有人遇到过这种情况吗?
【问题讨论】:
标签: scala apache-spark spark-streaming