Spark SQL saveAsTable 返回空结果答案

【问题标题】：Spark SQL saveAsTable returns empty resultSpark SQL saveAsTable 返回空结果
【发布时间】：2017-07-17 12:48:56
【问题描述】：

我正在使用以下代码在 Spark SQL 中创建/插入数据到 Hive 表中：

val sc = SparkSession
  .builder()
  .appName("App")
  .master("local[2]")
  .config("spark.sql.warehouse.dir", "file:///tmp/spark-warehouse")
  .enableHiveSupport()
  .getOrCreate()

// actual code

result.createOrReplaceTempView("result")
result.write.format("parquet").partitionBy("year", "month").mode(SaveMode.Append).saveAsTable("tablename")

运行没有错误。 result.show(10) 证实了这一点。输入文件是本地FS上的csv。

它在 ./spark-warehouse/tablename/ 下创建 parquet 文件，并使用正确的 create table 语句在 hive 中创建表。

git:(master) ✗ tree
.
└── tablename
    ├── _SUCCESS
    └── year=2017
        └── month=01
            ├── part-r-00013-abaea338-8ed3-4961-8598-cb2623a78ce1.snappy.parquet
            ├── part-r-00013-f42ce8ac-a42c-46c5-b188-598a23699ce8.snappy.parquet
            ├── part-r-00018-abaea338-8ed3-4961-8598-cb2623a78ce1.snappy.parquet
            └── part-r-00018-f42ce8ac-a42c-46c5-b188-598a23699ce8.snappy.parquet

蜂巢：

hive> show create table tablename;
OK
CREATE TABLE `tablename`(
  `col` array<string> COMMENT 'from deserializer')
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'path'='file:/Users/IdeaProjects/project/spark-warehouse/tablename')
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.SequenceFileInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat'
LOCATION
  'file:/tmp/spark-warehouse/tablename'
TBLPROPERTIES (
  'EXTERNAL'='FALSE',
  'spark.sql.sources.provider'='parquet',
  'spark.sql.sources.schema.numPartCols'='2',
  'spark.sql.sources.schema.numParts'='1',
  'spark.sql.sources.schema.part.0'='{ 
  // fields
  }',
  'spark.sql.sources.schema.partCol.0'='year',
  'spark.sql.sources.schema.partCol.1'='month',
  'transient_lastDdlTime'='1488157476')

但是，表格是空的：

hive> select count(*) from tablename;
...
OK
0
Time taken: 1.89 seconds, Fetched: 1 row(s)

使用的软件：带有 spark-sql 和 spark-hive_2.10 的 Spark 2.1.0、Hive 2.10 和 mysql Metastore、Hadoop 2.70、macOS 10.12.3

【问题讨论】：

您是否尝试过从 hive 控制台中删除表并再次从 spark 中创建它？您将数据保存为 parqet 但配置单元说 org.apache.hadoop.mapred.SequenceFileInputFormat 是输入格式 - 我认为这是空计数的原因。

标签： hadoop apache-spark hive hdfs apache-spark-sql

【解决方案1】：

Spark SQL 分区与 Hive 不兼容。 SPARK-14927 记录了此问题。

作为推荐的解决方法，您可以使用 Hive 创建分区表，并且仅从 Spark 插入。

【讨论】：

同一张jira票上有here这个问题的解决方案。

【解决方案2】：

添加新分区时只需运行MSCK REPAIR TABLE。请参阅 Hive 文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RecoverPartitions(MSCKREPAIRTABLE)

【讨论】：