使用 Python，如何根据 id 标签从 HTML 文件中提取信息？答案

【问题标题】：Using Python, how to extract information from HTML files based on id tag?使用 Python，如何根据 id 标签从 HTML 文件中提取信息？
【发布时间】：2019-06-27 15:45:46
【问题描述】：

我正在尝试创建一个 python 脚本，该脚本将从一些 HTML 文件中提取信息。我对os 和glob 没有任何问题，可以获取所有必要的文件。但困难的部分是解析这些文件。到目前为止，这是我的代码：

from lxml import etree
...
parser = etree.HTMLParser(remove_comments=True, recover=True)
tree = etree.parse(os.path.join(path, filename), parser=parser)
...
for item in tree.getiterator():
    id = item.attrib.get('id', None)

    if item.tag == 'title':
        device.name = item.text
    elif id:
        setattr(device, id, item.text)

此代码似乎适用于文件中的某些信息，例如：

<td id="type">Network Camera</td>

但是 HTML 文件有几行这样的：

<td colspan="2"><span id="name"></span>:&nbsp;XYZ</td>

我没有得到任何有用的东西。我插入了打印语句，我可以看到元素td（没有id，也没有text）和span（有id，但也没有text）。

然后是这个：

<td><table><tr>
    <td><a href="..." id="ipLink"> <span id="ipTxt"></span></a>:&nbsp;
    </td><td>
        1.2.4.3&nbsp;(<span id="staTxt"></span>)
    </td>
</tr></table></td>

...在我看来，我应该得到ip=1.2.4.3，但我不知道如何说服python提取它。

更新：

完整的示例输入文件：

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
    <meta http-equiv="Pragma" content="no-cache">
<title>AXIS M3037</title>
</head>
<body>


<table>
  <tr>
    <td id="type">Network Camera</td>
    <td>|</td>
    <td valign="middle" align="left" width=169 class="menuActive" id="mainMenu" nowrap>

    </td>
    <td><a href="/" id="tLViewTxt"><span id="ti2LViewTxt"></span></a></td>
    <td><a href="/?id=171" id="tSetTxt"><span id="ti2SetTxt"></span></a></td>
    <td colspan="2"><span id="version"></span>:&nbsp;1.23</td>

    <td>
        1.2.1.1&nbsp;(<span id="xyz"></span>)
    </td>
    <td colspan="2">
        <a href="/?id=171" id="dateTimeLink">
            <span id="datTimTxt"></span>
        </a>&nbsp;
        <input type="text" name="CurrentServerDate" value="2018-08-14" disabled>
        &nbsp;&nbsp;&nbsp;
        <input type="text" name="CurrentServerTime" value="11:03:49" disabled>
    </td>

    <td><table><tr>
        <td><a href="..." id="ipLink">
                <span id="ipTxt"></span>
            </a>:&nbsp;
        </td><td>
            1.2.4.3&nbsp;(<span id="staTxt"></span>)
        </td>
    </tr></table></td>
  </tr>
  <tr>
    <td nowrap colspan="2">:&nbsp;
        1
        &nbsp;<span id="videoTxt"></span>&nbsp;&nbsp;
        0
        &nbsp;<span id="audTxt"></span>
        &nbsp;&nbsp;</td>
    <td colspan="2" nowrap>
        <span id="upTimTxt"></span>&nbsp;
        <span id="theuptimevalue">130 days, 3:40</span></td>
  </tr>
</table>
</body>
</html>

想要提取的信息：

'type': 'Network Camera'
'version': '1.23'           (or ': 1.23'  --- I can remove ':')
'xyz': '1.2.1.1'
'staTxt': '1.2.4.3'         (or better: 'ipTxt': '1.2.4.3' )
'videoTxt': '1'
'audTxt': '0'
'theuptimevalue': '130 days, 3:40'

【问题讨论】：

你能发布更多的 html，包括上面所有的三个 sn-ps 和其他一些吗？
@JackFleeting - 我添加了我在开发过程中使用的完整文件
最后，在一个理想的世界里——你想要的输出是什么？另外，你的两个<span id="staTxt"></span> 被{} 包围；这是一个错字还是实际情况？
我添加了所需的输出。是的，当我缩短那个巨大的文件时，这是一个错字。

标签： python html-parsing lxml

【解决方案1】：

好吧，以下内容非常复杂，可能很脆弱，但它可以在提供的 html 上解决问题：

from lxml.html import fromstring
data = [your html above]

tree = fromstring(data)

for typ in tree.xpath("*//td[@id='type']"):
    print('type',typ.text)
for spa in tree.xpath("*//span[@id='version']/../text()"):
    print('version',spa)
for spa in tree.xpath("*//span[@id='name']/../text()"):
    print(spa.replace(':','').strip(),tree.xpath("*//span[@id='name']/../following-sibling::td/text()")[0].strip())
for spa in tree.xpath("(*//span[@id='staTxt']/..)[2]"):
    print('ipTxt',spa.text.strip())
for spa in tree.xpath("*//span[@id='videoTxt']/.."):
    print('videoTxt',spa.text.replace(':','').strip())  
for spa in tree.xpath("*//span[@id='audTxt']/.."):
    num = "".join(spa.text_content().split())
    print('audTxt2',num[2])
for spa in tree.xpath("*//span[@id='theuptimevalue']"):
    print('theuptimevalue',spa.text.replace(':','').strip())

输出：

type Network Camera
version : 1.23
XYZ 1.2.1.1
ipTxt 1.2.4.3
videoTxt 1
audTxt2 0
theuptimevalue 130 days, 340

如果你玩它，你可能会改进它，但应该是一个开始......

【讨论】：