火花结构化流式写入错误

Question

我在消费和接收 kafka 消息时遇到了一些奇怪的错误。我正在运行 2.3.0，并且我知道这在其他版本中之前可以正常工作。

val event = spark.readStream.format("kafka")
.option("kafka.bootstrap.servers", <server list>)
.option("subscribe", <topic>)
.load()

val filesink_query = outputdf.writeStream
.partitionBy(<some column>)
.format("parquet")
.option("path", <some path in EMRFS>)
.option("checkpointLocation", "/tmp/ingestcheckpoint")
.trigger(Trigger.ProcessingTime(10.seconds))
.outputMode(OutputMode.Append)
.start 



java.lang.IllegalStateException: /tmp/outputagent/_spark_metadata/0 doesn't exist when compacting batch 9 (compactInterval: 10)

我很困惑，这是最新版spark的错误吗？

Answer 1

问题似乎与在 s3a 上使用 S3n 并且仅在 hdfs 而不是 s3 上具有检查点有关。这是非常烦人的罪，我想避免在我的代码中硬编码 dns 或 ips。