如果没有指定的可用分区路径，SPARK SQL 将失败

Question

我在 EMR 中使用 Hive Metastore。我可以通过 HiveSQL 手动查询表。
但是当我在 Spark Job 中使用同一张表时，它说 Input path does not exist: s3://

原因：org.apache.hadoop.mapred.InvalidInputException：输入路径 不存在：s3://....

我已经在 s3://.. 中删除了上面的分区路径，但它仍然可以在我的 Hive 中工作，而不会在表级别删除分区。但它无论如何都不能在 pyspark 中工作

这是我的完整代码

from pyspark import SparkContext, HiveContext
from pyspark import SQLContext
from pyspark.sql import SparkSession

sc = SparkContext(appName = "test")
sqlContext = SQLContext(sparkContext=sc)
sqlContext.sql("select count(*) from logan_test.salary_csv").show()
print("done..")

我提交了如下工作以使用 hive 目录表。

spark-submit test.py --files /usr/lib/hive/conf/hive-site.xml

Answer 1

我在 HDFS 中遇到过类似的错误，其中 Metastore 为表保留了一个分区，但目录丢失了

检查 s3... 如果它丢失了，或者你删除了它，你需要从 Hive 运行 MSCK REPAIR TABLE。有时这不起作用，您确实需要DROP PARTITION

该属性默认为 false，但您可以通过将 SparkConf 对象传递给 SparkContext 来设置配置属性

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("test").set("spark.sql.hive.verifyPartitionPath", "false"))
sc = SparkContext(conf = conf)

或者，Spark 2 方式是使用 SparkSession。

from pyspark.sql import SparkSession

spark = SparkSession.builder \
...     .appName("test") \
...     .config("spark.sql.hive.verifyPartitionPath", "false") \
...     .enableHiveSupport()
...     .getOrCreate()