【发布时间】：2022-08-19 09:18:42
【问题描述】：
Pyspark结构化流，如果失败如何停止或重新启动作业？我是新手，所以想了解 1.检查点如何在重启时提供帮助 2.重启时是否需要调用任何方法来传递偏移量 3.另外，我想知道如何停止工作，如果代码逻辑有任何变化以便更新
标签： pyspark offset spark-structured-streaming checkpoint
【发布时间】：2022-08-19 09:18:42
【问题描述】：
- 是的！那就是使用检查点的点，到失败 恢复https://www.databricks.com/blog/2015/01/15/improved-driver-fault-tolerance-and-zero-data-loss-in-spark-streaming.html
- 如果您使用 Yarn（还有使用 yarn 的 EMR），您可以设置 属性 spark.yarn.maxAppAttempts https://spark.apache.org/docs/latest/running-on-yarn.html 但就是这样 它。
- 一种方法是使用 yarn kill 命令https://sarathkumarsivan.medium.com/how-to-kill-all-applications-running-on-yarn-2052289a7e7，有多种方法可以实现，都取决于 Job 在哪里运行。
【讨论】：