使用 Python 在 XML 中转义 & 和其他特殊字符

Question

我必须解析大量 XML 文件并将其写入文本文件。但是，某些 XML 文件包含特殊/非法字符。我尝试过使用不同的方法，例如Escaping strings for use in XML 但我无法让它工作。我知道解决这个问题的一种方法是编辑 XML 文件本身，但是有数千个文件。

import os
from xml.etree import ElementTree
from xml.sax.saxutils import escape

fileNum = 0;
saveFile = open('NewYork_1.txt','w')

for path, dirs, files in os.walk("NewYork_1"):
   for f in files:
      fileName = os.path.join(path, f)
      with open(fileName,'r', encoding='utf-8') as myFile:
        # print(myFile.read())
        if "&" in myFile:
            myFile = myFile.replace("&", "&") #This does not work.

此外，一些 XML 文件中还包含 unicode。有表情符号。

<Thread>
   <ThreadID></ThreadID>
   <Title></Title>
   <InitPost>
      <UserID></UserID>
      <Date></Date>
      <icontent></icontent>
   </InitPost>
   <Post>
      <UserID></UserID>
      <Date></Date>
      <rcontent></rcontent>
  </Post>
</Thread>

Answer 1

试试这个：

import os
from xml.etree import ElementTree
from xml.sax.saxutils import escape

fileNum = 0;
saveFile = open('NewYork_1.txt','w')
saveFile.close()
for path, dirs, files in os.walk("NewYork_1"):
   for f in files:
       fileName = os.path.join(path, f)
       with open(fileName,'a', encoding='utf-8') as myFile:
           myFile=myFile.read()
           if "&" in myFile:
                myFile = myFile.replace("&", "&")

我个人会生成一个文件列表来读取和遍历该列表，而不是使用 os.walk（如果您从以前的函数或单独的脚本中获取列表，您总是可以创建一个文本文件，每个txt 文件放在单独的行上并遍历行而不是从变量中获取以节省 RAM），但每个人都有自己的。

不过，正如我所说，我会放弃替换特殊字符的整个想法，并使用 bs4 打开文件，搜索您要查找的元素，然后从那里抓取。

import bs4
list_of_USER_IDs=[]
with open(fileName,'r', encoding='utf-8') as myFile:
    a=myFile.read()
    b=bs4.beautifulSoup(a)
    for elem in b.findAll('USERID'):
        list_of_USER_IDs.append(elem)

这将返回 USERID 标签之间的数据，但它适用于您想要从中获取数据的任何标签。无需直接解析xml。它与 HTML 并没有太大区别，beautifulSoup 就是为此而生的，那么为什么要重新发明轮子呢？

Answer 2

还有一件事……

您可以使用 BeautifulSoup 来查找要从中提取数据的 xml 文件的部分。会根据需要错开处理，而不是将整个文件加载到变量中，然后逐个元素地迭代。

例如：

如果你的 xml 文件有如下标签：

<pos reviews>
<review_id>001<review_id>
<reviewer_name>John Stamos (From full house)</reviewer_name>
<review_text>This is a great item</review_text>

您可以只使用 beautifulsoup.findAll(whatever tag) 并获取该数据。不过我不知道你具体在做什么。觉得值得推荐。

Answer 3

您可以做的是将文件作为字符串读取。

file_str = open("xml_file.xml", "r+")

然后使用xml.etree.ElementTree的fromString函数

tree = xml.etree.ElementTree.fromString(file_str)

然后用它做一些事情。

root = tree.getRoot()

这样您就不必担心为每个表情符号编写代码和无效符号。 如果你想将表情符号和特殊的 utf-8 字符写入 xml，你必须在顶部添加这一行。

 <?xml version="1.0" encoding="utf-8" ?>