Google BigQuery - 使用单个作业重复导入答案

【问题标题】：Google BigQuery - Duplicate imports with single JobGoogle BigQuery - 使用单个作业重复导入
【发布时间】：2012-12-26 20:11:40
【问题描述】：

BigQuery 是否存在任何已知问题，即单个作业会导致重复导入？我们发现了这个问题，需要帮助来找出 BigQuery 中发生的问题。

我们的流程每 15 分钟运行一次，以将 CSV 导入 BigQuery。我调查了查看我们的日志，并且处理了两次的作业显示了以下问题。处理过两次的 CSV 文件有 36101 行。

我们的上传过程已成功将单个作业发布到 BigQuery。上传的 CSV 文件有 36101 行，大小为 2846673
我们的流程会检查作业的状态。检查作业状态时，请注意“outputRows”。与预期相同 (36101)。

“状态”：{ “状态”：“运行” }, “统计数据”： { “开始时间”：“1356528625599”， “加载”： { “输入文件”：“1”， "inputFileBytes": "2846673", “输出行”：“36101”， “输出字节”：“13651590” } } }
请注意，上述作业完成后，该过程显示双倍记录。请参阅 outputRows (72202)

“状态”：{ “状态”：“完成” }, “统计数据”： { “开始时间”：“1356528625599”， “结束时间”：“1356528665201”， “加载”： { “输入文件”：“1”， "inputFileBytes": "2846673", “输出行”：“72202”， “输出字节”：“27303180” } } }

【问题讨论】：

【解决方案1】：

我们已发现并修复了该错误。如果您遇到任何其他问题，请告诉我们。

【讨论】：

【解决方案2】：

不管怎样，在过去的五天里，我们已经两次看到同样的问题。我们每 10 分钟加载一次，为了让这个问题更易于管理，我们将其更改为每小时一次。

【讨论】：