【发布时间】：2017-08-17 16:42:37
【问题描述】：
我是 Spark Streaming 的初学者。我正在使用火花流生产和消费消息。但我无法阻止消费者。实际上，当生产者不发送任何消息时，我需要停止流式传输。有人可以用 java 代码帮助我吗？如果可能的话，给我一个小示例代码来停止 java 上的流式传输。
我使用的是 spark 2.2.0 版
conf.set("spark.streaming.stopGracefullyOnShutdown","true");
// Execute the Spark workflow defined above
streamingContext.start();
try {
streamingContext.awaitTermination();
} catch (Exception e) {
// e.printStackTrace();
}
【问题讨论】：
-
看看this的答案。
-
我已经更新了 conf.set("spark.streaming.stopGracefullyOnShutdown","true"); 但它并没有停止流式传输。你能帮我解决这个问题吗？ @格伦尼
-
您是否按照帖子中的说明发送停止信号？
stopGracefullyOnShutdown仅确保在 JVM 收到停止信号时正常停止流式传输作业 - 您必须发送信号（或者您必须编写一个发送信号的程序）。 -
我是初学者。我不知道如何发送停止信号。你能帮我解决这个问题吗？或者你能告诉我任何简单的代码来做到这一点吗？ @格伦尼
-
这篇文章告诉你可以用来停止流式传输的实际命令。我不确定您还需要什么...
标签： apache-spark spark-dataframe spark-streaming