\\x96 不是 BigQuery 中的有效 UTF-8 字符串答案

【问题标题】：\\x96 is not a valid UTF-8 string in BigQuery\\x96 不是 BigQuery 中的有效 UTF-8 字符串
【发布时间】：2019-08-15 14:35:47
【问题描述】：

当“-”（破折号）字符用于以竖线分隔的 csv 文件时，我们发现 BigQuery 会产生无效的 utf-8 错误。奇怪的是，这些字符位于已有一年多的文件中，没有更改，而且 BigQuery 已经读取这些文件好几个月了，直到几天前。这是其中一个错误的示例。

Christus Trinity Clinic \\x96 Rheumatology is not a valid UTF-8 string

字符串在原始文件中的样子是这样的：

Christus Trinity Clinic – Rheumatology

是否有人知道此问题的解决方法，或者 BigQuery 是否以可能导致此问题的方式更改了它的功能？我知道我可以上传一个更正后的文件，但在这种情况下，不应出于审计目的而更改文件。

【问题讨论】：

【解决方案1】：

我从 8 月 14 日开始遇到同样的问题。我正在使用gsutil 将 csv 加载到 bigquery 中。

我在加载 csv 时使用了编码选项，它对我有用。

编码：

--encoding ISO-8859-1

命令行：

bq --location=US load --skip_leading_rows=1 --encoding ISO-8859-1 --replace --source_format=CSV gcs.dim_employee

【讨论】：

【解决方案2】：

从昨天开始，我们看到同样的事情突然发生了。
对我来说，解决方案是在 loadconfig 中添加编码类型。
（我用的是PHP客户端，但你的客户端可能也有这个选项）

$loadConfig->encoding('ISO-8859-1');

【讨论】：