Python删除无效的ascii字符

Question

我最近编写了一个脚本来从 pdf 中提取所有书签并将它们保存在 docx 文件中。它适用于 90% 的文件，但不幸的是有些文件似乎存在 unicode 问题。

我在这样的列表中获得书签：

[[u'3. Mechatronik f\xfcr Doppelkupplungsgetriebe, Sicherungshalter B, Sicherung 14 auf Sicherungshalter C', 2],
[u'4. Geber f\xfcr Getriebeeingangsdrehzahl, Hydraulikdruckgeber 1 f\xfcr automatisches Getriebe, Magnetventil 2, Magnetventil \x04, Magnetventil 5', 2],
[u'5. W\xe4hlhebel, Schalter f\xfcr W\xe4hlhebel in P gesperrt, Magnet f\xfcr W\xe4hlhebelsperre', 2], 
[u'6. W\xe4hlhebel, Geber 2 f\xfcr Antriebswellendrehzahl, W\xe4hlhebel-Positionsanzeige', 2]]

当我尝试运行该函数时，我得到了错误：

ValueError('All strings must be XML compatible: Unicode or ASCII, no NULL bytes or control characters',)

代码：

from docx import Document

list1 = [[u'3. Mechatronik f\xfcr Doppelkupplungsgetriebe, Sicherungshalter B, Sicherung 14 auf Sicherungshalter C', 2],
    [u'4. Geber f\xfcr Getriebeeingangsdrehzahl, Hydraulikdruckgeber 1 f\xfcr automatisches Getriebe, Magnetventil 2, Magnetventil \x04, Magnetventil 5', 2],
    [u'5. W\xe4hlhebel, Schalter f\xfcr W\xe4hlhebel in P gesperrt, Magnet f\xfcr W\xe4hlhebelsperre', 2],
    [u'6. W\xe4hlhebel, Geber 2 f\xfcr Antriebswellendrehzahl, W\xe4hlhebel-Positionsanzeige', 2]]

def save_docx(list1):
document = Document('default.docx')
file = open("Error_Log.txt", 'w')
for i in list1:
    try:
        p = document.add_paragraph()
        p.add_run(i[0]).bold = True
    except Exception as e:
        file.write(repr(e) + '\n')
file.close()
document.save('Bookmarks.docx')

save_docx(list1)

我猜问题出在\x0，但我不知道如何在不破坏整个文档的情况下删除这样的部分。 我已经尝试了不同的编码以及我可以在网上找到的任何其他东西，但到目前为止没有任何效果。

任何帮助将不胜感激！

Answer 1

您的假设似乎是正确的：\x04 是一个控制字符，并且您的错误消息明确指出不允许控制。

您可以在将字符串添加到文档之前过滤掉字符串中的控制字符，这应该可以解决您的问题。这可以通过 Python 的unicodedata module，特别是unicodedata.category 来完成。您要排除的类别以“C”开头（来自http://www.unicode.org/reports/tr44/#GC_Values_Table），其中包含所有控制字符。

以下应该可以代替您当前的add_run 行：

line = filter(lambda c: unicodedata.category(c)[0] != 'C', i[0])
p.add_run(line).bold = True

顺便说一句，在 unicode 字符串中包含 unicode 字符的典型方法是使用 \uXXXX，而不是 \xXX（其中 XXXX 是 unicode 代码点的十六进制）。