Web Scraping 遇到 XML 解析错误，如何修复？答案

【问题标题】：Web Scraping Encountered XML Parsing Error, How to Fix?Web Scraping 遇到 XML 解析错误，如何修复？
【发布时间】：2019-11-18 11:59:03
【问题描述】：

我已经使用网络抓取应用程序一年左右，现在没有任何实际问题。今天早上，我运行程序并从 xml.etree 得到一个不匹配的标签错误。这在今天早上之前从来没有发生过，所以我有点难为为什么会突然发生这种情况。这是我的代码：

import requests
from xml.etree import ElementTree as ET
import json
import datetime as dt
import time
from dateutil import parser
from bs4 import BeautifulSoup
from xml.parsers import expat


url = 'https://www5.fdic.gov/cra/WebServices/DBService.asmx/callWS'

r = requests.post(url, data={"functionName":"SearchCRA","parmsJSON":"{\"Appl_Number\":\"\",\"Appl_Type\":\"\",\"PSTALP\":\"\",\"SUPRV_FDICDBS\":\"09\",\"BANK_NAME\":\"\"}"})
soup = BeautifulSoup(r.text, 'html.parser')

root = ET.fromstring(r.content)
data = json.loads(root.text)

today = dt.date.today()
lastweek = today-dt.timedelta(7)
date = lastweek.strftime("%m/%d/%Y") #one week from today in mm/d/yyyy

mylist = []
for result in data['Result']:
    d = parser.parse(result['Appl_Recd_YMD'])
    f_d = d.strftime("%m/%d/%Y")

    if f_d >= date:
        new_status = "***NEW***"
    else:
        new_status = "        "

if 'INTERIM' not in result['Instname'] and result['Inst_Rle_Cde'] == '1' and result['Appl_Type'] in ('REORG ', 'MERGER', 'RELMO', 'FDINEW'):
    output4 = 'Date: {} Application Number: {} Institution: {} State: {} Type: {} Link: https://www5.fdic.gov/cra/cram03.aspx?inApplNb={}&inApplType={} {}'.format(f_d, result['Appl_Number'], result['Instname'].strip(),result['Pstalp'], result['Appl_Type'],result['Appl_Number'], result['Appl_Type'], new_status)
    item = output4
    mylist.append(item)
    slist = sorted(mylist)
    print(len(mylist), end=""),
    print('.)', end = ""),
    print(output4)
    global slist2
    slist2 = slist

这是我得到的错误：

  File "C:/Users/d1rjr03/PycharmProjects/Discovery/FDIC.py", line 16, in <module>
root = ET.fromstring(r.content)
  File "C:\Python37\lib\xml\etree\ElementTree.py", line 1315, in XML
parser.feed(text)
xml.etree.ElementTree.ParseError: mismatched tag: line 7, column 2

这个错误让我想知道是网站问题还是只是我的访问权限问题？

我没有大量使用 xml.etree 的经验，所以我不太确定从哪里着手解决问题。知道为什么会突然发生这种情况吗？

【问题讨论】：

r.content 不是格式良好的 XML。例如，没有 </BR> 结束标记，并且有未加引号的属性值 (TYPE=HIDDEN)。

标签： python xml xml-parsing python-requests xml.etree

【解决方案1】：

在将 r.content 传递给 ET.fromstring 之前先看看它的值，这是您所期望的吗？将其打印到屏幕上，将其写入日志文件或使用调试器运行代码并检查值。从错误中它表明该值不会是您认为的值

【讨论】：

有趣的是，我收到以下错误（此处发布太长），但其中包括：Web 服务器可能已关闭、太忙或遇到其他问题，无法响应请求。您不妨稍后再试。

【解决方案2】：

原来请求的 url 从 'www5' 变成了 'www7'。超级简单的答案，坦率地说，我应该在发布之前找到它。

【讨论】：