spark中的多个StreamingContext

Question

当两个进程启动时，我遇到了类似的错误

java.lang.IllegalStateException: 在这个 JVM 中只能启动一个 StreamingContext。当前运行的 StreamingContext 是在 org.apache.spark.streaming.StreamingContext.start() 启动的

如何解决这个问题？

Answer 1

很明显：不要同时启动两个StreamingContexts。在您的代码中查找您执行此操作的位置（您未发布的堆栈跟踪应该会有所帮助）。如果您不确定StreamingContext 是否已经启动，请改用StreamingContext.getActiveOrCreate。