带有特殊字符编解码器的 Pandas read_csv 文件路径无法解码

Question

我正在使用 Python 3.5.3 版和 Pandas 0.20.1 版

我使用 read_csv 读取 csv 文件。我根据post 使用文件指针（我更喜欢使用_enablelegacywindowsfsencoding() 的解决方案）。以下代码有效：

import pandas as pd

with open("C:/Desktop/folder/myfile.csv") as fp:
    df=pd.read_csv(fp, sep=";", encoding ="latin")

这确实有效。但是，当文件名中有像ä这样的特殊字符时：

import pandas as pd

with open("C:/Desktop/folderÄ/myfile.csv") as fp:
    df=pd.read_csv(fp, sep=";", encoding ="latin")

Python 显示错误消息：(unicode error) 'utf-8' codec can't decode byte oxc4 in position 0: unexpected end of data。

我还尝试在文件路径之前添加一个“r”，但是我得到了相同的错误消息，除了现在我得到一个整数位置，这正是我的特殊字符在文件路径中的位置。

所以原因是文件路径名中的特殊字符。

（不是可以通过使用 encoding="utf-8" 或任何其他类似 ISO-5589-1 来解决的解码错误。绝对可以肯定，我尝试使用以下编码并总是得到相同的错误消息: utf-8, ISO-5589-1, cp1252)

Answer 1

该错误表明您的源文件（不是数据文件）未以 UTF-8 编码。在 Python 3 中，您的源文件必须以 UTF-8 编码保存，或者您必须使用特殊注释声明保存源文件的编码，例如#coding=Windows-1252 在文件顶部。 \xc4 是 Ä 的 Windows-1252 编码，是西欧和美国 Windows 的默认编码，所以这是一个很好的猜测。理想情况下，以 UTF-8 重新保存您的源代码。

例如，如果源是Windows-1252编码，数据文件是GB2312编码（中文）：

#coding=Windows-1252                         # encoding of source file
import pandas as pd
with open('DÄTÄ.csv',encoding='gb2312') as f:  # encoding of data file
    data = pd.read_csv(f)

请注意，源文件默认为 UTF-8 编码，但open 默认为locale.getpreferredencoding(FALSE) 返回的编码。由于这因操作系统和配置而异，因此最好在打开文件时始终指定编码。

Answer 2

例如尝试使用 unicode 文件路径 u'path/to/files'

import pandas as pd

with open(u'C:/Desktop/folderÄ/myfile.csv') as fp:
    df=pd.read_csv(fp, sep=";", encoding ="latin")