使用 Pandas 编码 csv 错误 - 必须编码一个 csv 文件而不是另一个 - 两者都具有相同的编码

Question

我正在使用 pandas 将 csv 数据读入我的 python 脚本。 两个 csv 文件具有相同的编码 (Windows-1252)。 但是，对于其中一个文件，我在使用 pandas 读取 csv 文件时会出错，除非我在 pd.read_csv() 中指定编码参数。

有谁知道为什么我需要在一个 csv 而不是另一个中指定编码？两个 csv 都包含相似的数据（字符串和数字）。

谢谢

Answer 1

这只是意味着其中一个文件的字符超出了 0x00 到 0x7F 的范围。只有编码产生影响的最高 128 个值。只需要一个带波浪号的 n 或一个智能引号。

Answer 2

Pandas（至少版本 1.3.3）默认使用 UTF-8 编码，即使在 Windows 上也是如此（参见 source code）。 UTF-8 有一些禁止字节（参见codepage layout 中的红色单元格）。但是，Windows-1252 中允许使用这些字节。因此，我想您的一个文件包含一些 UTF-8 中不允许的字节。可能是数据输入错误，错误地输入了 ø 而不是 0。