无法读取使用分区的 spark 结构化流创建的分区配置单元表

【问题标题】：Unable to read partitioned hive table created from spark structured streaming using partitioned by无法读取使用分区的 spark 结构化流创建的分区配置单元表
【发布时间】：2020-04-08 15:25:02
【问题描述】：

interval2    
  .writeStream 
  .format("parquet") 
  .option("path","/user/usera/interval27e") 
  .partitionBy("year","month","day","mm") 
  .trigger(processingTime='15 seconds') 
  .option("checkpointLocation", "/user/usera/checkpoint27e") 
  .start()

我能够在 hdfs 中看到分区结构，但是当尝试读取配置单元表时得到空结果

【问题讨论】：

标签： spark-structured-streaming

【解决方案1】：

请你试试下面的代码：

val dataWrite =  interval2    
    .writeStream
    .format("parquet")
    .partitionBy("year","month","day","mm")
    .option("checkpointLocation", "/user/usera/checkpoint27e")
    .outputMode(OutputMode.Append).trigger(Trigger.ProcessingTime("15 seconds"))
    .start("/user/usera/interval27e")

  dataWrite.processAllAvailable()

【讨论】：