尝试将数据帧写入 Hive 本机镶木地板表时找不到类 org.apache.spark.sql.hive.execution.HiveFileFormat$$anon$1

Question

会议

spark.conf.set('spark.sql.hive.convertMetastoreParquet', "true")

蜂巢表

spark.sql("create table table_name (ip string, user string) PARTITIONED BY (date date) STORED AS PARQUET")

插入

df.write.insertInto("table_name", overwrite=True)

错误

Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.hive.execution.HiveFileFormat$$anon$1

顺便说一句，插入 ORC 表是好的。以客户端模式在集群上运行。

Answer 1

您的 hive-site.xml 文件是否存在于 Spark 配置文件夹中？

编辑：

你可以试试：

df.write.mode("overwrite").partitionBy("date").saveAsTable("db.table_name")

应该不需要预先设置任何配置并运行 SQL create 语句。