加载通配符路径时获取失败文件的名称答案

【问题标题】：Get failed files' name while loading wildcard path加载通配符路径时获取失败文件的名称
【发布时间】：2019-03-18 00:05:30
【问题描述】：

我的加载作业将“文件夹\*”加载到 bigquery，

我的调用者在下面，load_job中有没有可以提取失败文件的字段？

load_job = client.load_table_from_uri(
    ["gs://{}/{}*".format(table["project_id"], p) for p in data["prefixes"]],
    dataset_ref.table(table_id),
    job_config=job_config,
    job_id_prefix="direct_{}_{}".format(table["schema"], 
table["table"]),
)  # API request

【问题讨论】：

这不是一个重复的问题
好的。现在它可能不再是重复的了——在你更新它之后:o)
所以我重新打开了它。同时 - 我仍然相信你可以在这里找到答案 - stackoverflow.com/q/52100812/5221944
我想获取失败文件，然后我可以在下次加载时排除它们。
我明白了。希望有人会回答你的问题。感谢您纠正我将此问题标记为重复

标签： python google-bigquery

【解决方案1】：

BigQuery 在加载数据时支持“全有或全无”方法，即它要么加载输入文件中存在的所有数据，要么在出现错误时不加载任何内容。因为您使用通配符加载多个文件，即使它遇到特定文件的加载错误，它不会加载任何数据。

您可能希望为不同的多个文件配置不同的加载作业以实现您的目标

更多参考

Load Job quotas

【讨论】：