hive 或 impala 中的计算表统计信息如何加速 Spark SQL 中的查询？

Question

为了提高性能（例如连接），建议首先计算表静态。

在 Hive 中我可以做到::

analyze table <table name> compute statistics;

在黑斑羚中：

compute stats <table name>;

我的 spark 应用程序（从 hive 表中读取）是否也受益于预先计算的统计信息？如果是，我需要运行哪一个？他们是否都将统计信息保存在 hive 元存储中？我在 Cloudera 5.5.4 上使用 spark 1.6.1

注意： 在 spark 1.6.1 (https://spark.apache.org/docs/1.6.1/sql-programming-guide.html) 的 Docs of the parameter spark.sql.autoBroadcastJoinThreshold 中我发现了一个提示：

请注意，目前仅支持 Hive Metastore 的统计信息 ANALYZE TABLE COMPUTE STATISTICS 命令所在的表 noscan 已运行。

Answer 1

这里是即将推出的 Spark 2.3.0（可能一些功能已经在 2.2.1 或更早版本中发布）。

我的 spark 应用程序（从 hive 表中读取）是否也受益于预先计算的统计信息？

如果 Impala 或 Hive 将表统计信息（例如表大小或行数）记录在 Spark 可以读取的表元数据中的 Hive 元存储中（并转换为自己的 Spark 统计信息以进行查询计划），则可以。

您可以使用spark-shell 中的DESCRIBE EXTENDED SQL 命令轻松查看。

scala> spark.version
res0: String = 2.4.0-SNAPSHOT

scala> sql("DESC EXTENDED t1 id").show
+--------------+----------+
|info_name     |info_value|
+--------------+----------+
|col_name      |id        |
|data_type     |int       |
|comment       |NULL      |
|min           |0         |
|max           |1         |
|num_nulls     |0         |
|distinct_count|2         |
|avg_col_len   |4         |
|max_col_len   |4         |
|histogram     |NULL      |
+--------------+----------+

ANALYZE TABLE COMPUTE STATISTICS noscan 计算 Spark 使用的一个统计数据，即表的总大小（由于noscan 选项，没有行计数指标）。如果 Impala 和 Hive 将其记录到“正确”位置，Spark SQL 将在 DESC EXTENDED 中显示它。

使用DESC EXTENDED tableName 获取表级统计信息，看看您是否找到了由 Impala 或 Hive 生成​​的那些。如果它们在 DESC EXTENDED 的输出中，它们将用于优化连接（并且还为聚合和过滤器启用基于成本的优化）。

---

列统计信息存储在表属性中（以 Spark 特定的序列化格式），我真的怀疑 Impala 或 Hive 是否可以计算统计信息并将它们存储为 Spark SQL 兼容格式。

Answer 2

我假设您在 Spark（或）带有 Hive 上下文的 Spark-Sql 上使用 Hive。如果是这种情况，您应该在 hive 中运行分析。

分析表<...> 通常需要在表创建后或有重大插入/更改时运行。如果这是 MR 或 spark 作业，您可以在加载步骤结束时执行此操作。

在分析时，如果您在 spark 上使用 hive - 请同时使用下面链接中的配置。您可以在会话级别为每个查询设置此项。我在生产中使用了这个链接https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started中的参数，它工作正常。

Answer 3

据我了解，impala 上的计算统计数据是最新的实现，让您无需调整配置单元设置。

来自官方文档：

如果您使用基于 Hive 的方法收集统计信息，请参阅 Hive wiki 获取有关 Hive 所需配置的信息 边。 Cloudera 建议使用 Impala COMPUTE STATS 语句来 避免潜在的配置和可扩展性问题 统计数据收集过程。

如果您运行 Hive 语句 ANALYZE TABLE COMPUTE STATISTICS FOR COLUMNS，Impala 只能使用生成的列统计信息，如果 表未分区。 Impala 无法使用 Hive 生成​​的列 分区表的统计信息。

有用的链接： https://www.cloudera.com/documentation/enterprise/5-5-x/topics/impala_perf_stats.html