SPARK：Spark 中的 CBO 仅适用于 spark-sql 还是也适用于 Dataframe 和 Dataset API？

Question

1. 主要问题：Spark 中的 CBO（基于成本的优化器）是否仅适用于 spark-sql 还是也适用于 Dataframe 和 Dataset API？
2. CBO 和 tungsten 和 Catalyst 优化器有什么区别？
3. 详细了解以上3个主题是否有助于提高性能？我们真的可以控制和调整背后的内部结构吗？如果是，请指导如何使用并分享一些参考链接。（我发现很多文章解释了这些概念，但很少真正解释如何利用这些信息来提高性能）

Answer 1

1. 是的，也适用于 DataFrame/Dataset API

2. Catalyst 是 Spark 2.2 之前基于规则的优化器。启用 CBO 将允许 Catalyst 使用实际（元）数据来决定选择哪个物理计划。所以我认为 CBO 是 Catalyst 的一部分

3. 不，您不能“调整”，如果您收集输入表的表统计信息（ANALYZE TABLE ...），则可以使用 CBO。像这样，催化剂会做出更好的物理计划。