文本导入期间标题行中的特殊字符

Question

我正在尝试编写一个 python 脚本来导入由数据采集软件 (EC-lab) 生成的数据文件。我想将列标题保留在文件中，而不是手动定义它们，因为它们在所有文件中并不统一（不同的技术将以不同的顺序生成数据，并且标题数量不同）。问题是文件中的标题文本包含正斜杠（例如“ox/red”、“time/s”）。

当我尝试使用标题列加载数据时出现 ascii 错误

UnicodeDecodeError：“ascii”编解码器无法解码位置 19 中的字节 0xb5：序数不在范围内 (128)

我尝试根据其他解决方案添加编码作为关键字参数，但没有产生解决方案

 data = np.genfromtxt("20180611_bB_GCE-G.mpt", dtype=None, delimiter='\t', names=True, skip_header=61, encoding='utf-8')

我目前使用 genfromtxt 作为数据导入技术

data = np.genfromtxt("filename.mpt", dtype=None, delimiter='\t', names=True, skip_header=61)

Answer 1

首先，对于 ASCII、CSV 文件或 NumPy，标题中的正斜杠不是问题。

我的猜测是 真正的 问题是您的 CSV 是 Latin-1，或者是与 Latin-1 兼容的编码，如 Windows-1252，并且其中一个标题包含微符号µ，在这些编码中是 0xB5。或者标题实际上根本不是问题，并且某些数据中有µ 字符。

无论哪种方式，使用 ASCII 的默认编码，您都会收到关于 0xb5 不在 range(128) 中的错误，与您的问题中的完全一样。

如果您尝试通过显式指定 encoding='utf-8' 来解决此问题，那是错误的编码，您只会得到一个不同的错误，即 0xb5 是无效的起始字节。

如果您通过指定encoding='latin-1' 来修复它，它应该可以工作。

更一般地说，您必须知道您的文件实际上是什么编码，而不是胡乱猜测。特别是如果您在 Windows 上，许多文件将采用您设置为 OEM 代码页的任何编码，而其他文件将采用 UTF-16-LE，而其他文件将采用 UTF-8 但带有非法BOM等

生成它们的程序应该记录它使用的编码，或者有选项让您选择。如果不是，您需要尝试，例如，在文本编辑器中查看文件，让您选择编码以尝试找出哪个看起来正确。或者您可以使用chardet 之类的工具来帮助您猜测。