如何将流式结构化流直接写入 Hive？答案

【问题标题】：How to write a Streaming Structured Stream into Hive directly?如何将流式结构化流直接写入 Hive？
【发布时间】：2018-09-03 05:38:40
【问题描述】：

我想实现这样的目标：

df.writeStream
.saveAsTable("dbname.tablename")
.format("parquet")
.option("path", "/user/hive/warehouse/abc/")
.option("checkpointLocation", "/checkpoint_path") 
.outputMode("append")
.start()

我愿意接受建议。我知道 Kafka Connect 可能是其中一种选择，但如何使用 Spark 来实现这一点。我正在寻找一种可能的解决方法。提前致谢！！

【问题讨论】：

你能接受答案吗？
这不是我正在寻找的答案。必须赞赏任何解决方法。但我仍然会为澄清投赞成票。

标签： apache-spark hive spark-structured-streaming

【解决方案1】：

Spark 结构化流式处理不支持将流式查询的结果直接写入 Hive 表。您必须写入路径。

对于 2.4，他们说尝试 foreachBatch，但我没有尝试过。

【讨论】：