如何在python中替换非ascii char

Question

我需要在 Python 中替换像 ¾ 这样的非 ASCII 字符，但我得到了

SyntaxError: Non-ASCII character '\xc2' in file test.py but no encoding declared; see http://www.python.org/peps/pep-0263.html for details`

按照on the webpage的指示后，我得到了

UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 449: ordinal not in range(128)

这是我的代码：

data = data.replace(u"½", u"1/2")
data = re.sub(u"¾", u"3/4", data, flags=re.DOTALL)

我需要在我的代码中进行哪些更改？

---

我的文件是：

#!/usr/bin/python

with codecs.open("file.txt", "r", "utf8") as myfile:
    data = myfile.read()

data = data.replace(u"½", u"1/2")

file.txt 是：

hello world ½

Answer 1

看起来您想将其读取为 unicode，但 pyhton 将其读取为字符串。试试这个，问题看起来和你的UnicodeDecodeError类似

https://stackoverflow.com/a/18649608/5504999

尝试在文件顶部添加#coding: utf-8。这将允许使用非 ASCII 字符。

Answer 2

您正在将局部变量 data 作为字节读入，但随后将 data 视为它已经是一个 unicode 对象。

改变这个：

with open(file_name, "r") as myfile:
    data = myfile.read()

到这里：

import io

with io.open(file_name, encoding="utf8") as myfile:
    data = myfile.read()

Answer 3

我认为您的初始字符串未正确编码为 un​​icode。

你正在尝试的工作正常：

>>> st=u"¼½¾"
>>> print st.replace(u"½", u"1/2")
¼1/2¾

但目标必须是 unicode 才能开始。