java.lang.IllegalArgumentException：输入标记不以输入路径开头答案

【问题标题】：java.lang.IllegalArgumentException: Input marker does not start with input pathjava.lang.IllegalArgumentException：输入标记不以输入路径开头
【发布时间】：2023-04-04 09:42:01
【问题描述】：

使用以下代码在 Databricks 中获取此错误。谁能解释一下这个错误是什么意思？

df.writeStream \
  .format("delta") \
  .option("checkpointLocation", CHECKPOINT_LOCATION) \
  .trigger(once=True) \
  .start(DELTA_FILE_LOCATION)

错误：

java.lang.IllegalArgumentException: Input marker does not start with input path!

【问题讨论】：

你能补充更多细节吗？你如何获得输入流？
还有什么DBR版本
还有什么是变量 CHECKPOINT_LOCATION 和 DELTA_FILE_LOCATION 的值，看看你是否以正确的方式分配它..
驱动程序：r4.xlarge，工人：r4.xlarge，8 个工人，按需和 Spot，回退到按需，9.1 LTS（包括 Apache Spark 3.1.2，Scala 2.12）
CHECKPOINT_LOCATION 和 DELTA_FILE_LOCATION 是通过 s3a 协议的 s3 存储桶。出于安全原因，我不会发布存储桶名称。

标签： java apache-spark hadoop databricks

【解决方案1】：

我通过添加.option("cloudFiles.useIncrementalListing", False)解决了这个问题

https://docs.databricks.com/spark/latest/structured-streaming/auto-loader-s3.html

【讨论】：