pyspark hive.table 没有读取配置单元表的所有行

【问题标题】：pyspark hive.table not reading all row of hive tablepyspark hive.table 没有读取配置单元表的所有行
【发布时间】：2020-10-22 13:36:40
【问题描述】：

我在 pyspark 中使用 hive llap(https://github.com/hortonworks-spark/spark-llap) 来读取 hive 内部表，如下所示：

df = hive.table(<tableName>)

但问题是我的表有 1800 万条记录，但是当我这样做时

df.count()

我只计算了 750 万，这是错误的

【问题讨论】：

【解决方案1】：

您可能必须刷新不使用 hive 元存储的 spark 元存储，并且统计信息可能只是陈旧的

您可以像这样刷新 pyspark 元存储：

spark.sql("REFRESH TABLE <TABLE_NAME>")

【讨论】：