【问题标题】：Understanding Spark UI for a streaming application了解流式应用程序的 Spark UI
【发布时间】：2018-03-25 02:16:44
【问题描述】：
我正在尝试了解我的 Spark UI 中的条目的含义。
调用操作会导致创建作业。我觉得很难理解
- 创造了多少这些工作？这与微批次的数量成正比吗？
- 持续时间列的含义是什么？
- 在实例化流上下文时设置批处理持续时间有什么影响？这在 Spark UI 中的哪个位置可见？
新的 StreamingContext(sparkSession.sparkContext, Seconds(50))
【问题讨论】：
标签：
apache-spark
spark-streaming
spark-ui
【解决方案1】：
1.作业与微批次成正比，假设您的流式上下文时间为 50 秒，那么您将在一分钟内完成 2 个作业
2.Duration，指定处理单个微批处理或作业所花费的时间。理想情况下，处理微批处理所花费的持续时间应小于为微批处理指定的时间。如果是 50 秒，则每个微批处理工作应该在这段时间内完成
3.当你在作业运行时在UI中选择流式处理选项时，你可以看到每个微批处理是以50秒的间隔创建的
当你点击一个作业时，你会得到该单个微批处理/作业的阶段的详细信息。我猜你已经分享了相同的屏幕热。这里的持续时间是指每个阶段所花费的时间完成任务