【问题标题】:StreamingContext does not have a constructorStreamingContext 没有构造函数
【发布时间】:2018-12-01 04:31:38
【问题描述】:

我正在处理非常基本的 Spark Streaming Scala 代码。代码如下

import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.storage.StorageLevel
import org.apache.spark.SparkConf
object TestStreamProcessor {

    def main(args: Array [String]) {

            val batchInterval = 5

                val sparkConfig = new SparkConf().setAppName("TestKinesisConsumer")
                val ssc = new StreamingContext(sparkConfig, batchInterval)
            ssc.start()
                ssc.awaitTerminationOrTimeout(batchIntervalSeconds * 5 * 1000)


    }
}

但是在使用 maven 构建代码时遇到错误。

 error: org.apache.spark.streaming.StreamingContext does not have a constructor
[INFO]              val ssc = new StreamingContext(sparkConfig, batchInterval)

以前有人遇到过这种情况吗?

【问题讨论】:

    标签: scala apache-spark spark-streaming


    【解决方案1】:

    那么你的问题到底是什么?如果您打开docs,您可以看到batchDuration 参数的类型为org.apache.spark.streaming.Duration。你有没有尝试过类似的东西

    val ssc = new StreamingContext(sparkConfig, Seconds(batchInterval))
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-07-18
      • 1970-01-01
      • 1970-01-01
      • 2023-03-20
      相关资源
      最近更新 更多