从 python 上传到 BigQuery 时，某些行出现 ASCII 0 错误答案

【问题标题】：ASCII 0 Error on certain row when uploading to BigQuery from python从 python 上传到 BigQuery 时，某些行出现 ASCII 0 错误
【发布时间】：2021-11-30 07:16:10
【问题描述】：

我正在从 API 到 Google BigQuery 环境进行 ETL。在尝试使用 pandas_gbq.to_gbq() 将 pandas 数据帧上传到 bigquery 时，我遇到了这个错误：

google.api_core.exceptions.BadRequest: 400 Error while reading data, error message: Error 
detected while parsing row starting at position: 0. Error: Bad character (ASCII 0) encountered.

在检查了出现此错误的行后，我找不到 ASCII 符号。我只在数据框中的几行收到此错误，所有其他行都可以上传而不会出现错误。这让我觉得这不是格式错误，而是数据框的某个字段中的非法符号。

我尝试使用string.replace 函数删除非法符号，但错误仍然存在。

我可以通过清理或重新格式化来上传这些数据吗？

【问题讨论】：

添加示例数据。

标签： python google-bigquery ascii

【解决方案1】：

您可以使用csvkit（csvkit 是一套命令行工具，用于转换和使用表格文件格式之王 CSV）来清理您的文件，然后，您应该能够加载它可以毫无问题地进入 BigQuery。

另外，here 您可以查看如何将 pandas DataFrame 成功加载到 BigQuery；它会告诉您如何将 DataFrame 中的所有信息正确加载到 BigQuery、您需要做什么以及如何做。

【讨论】：