Spark 物理计划和逻辑计划

Question

我有两个问题：

1. 如果不添加任何额外的代码来打印提交的 spark 作业的逻辑和物理计划，有没有办法查看集群上运行的 spark 作业的物理和逻辑计划。

   李>

2. 有没有办法为集群上正在运行的 spark 作业动态修改执行计划以获得更好的性能。

请分享你的想法。

提前致谢。

Answer 1

1. 都是物理的

   val df: DataFrame  = ???
   
   df.queryExecution.executedPlan
   

   可以使用queryExecution 属性访问逻辑计划。

   df.queryExecution.logical
   

2. 是的，您可以实现自己的优化器规则。此功能通常没有正式记录，但有一些可用的外部资源：

   • Learn the extension points in Apache Spark and extend the Spark Catalyst Optimizer