用这个 Python 脚本中的另一个（标准）HTML 解析模块替换 BeautifulSoup

Question

我用 BeautifulSoup 制作了一个脚本，它运行良好且可读性很强，但我想有一天重新分发它，而 BeautifulSoup 是我想避免的外部依赖，特别是考虑到 Windows 的使用。

这是代码，它从给定的谷歌地图用户那里获取每个用户地图链接。 ####### 标记的行是使用 BeautifulSoup 的行：

# coding: utf-8

import urllib, re
from BeautifulSoup import BeautifulSoup as bs

uid = '200931058040775970557'
start = 0
shown = 1

while True:
    url = 'http://maps.google.com/maps/user?uid='+uid+'&ptab=2&start='+str(start)
    source = urllib.urlopen(url).read()
    soup = bs(source)  ####
    maptables = soup.findAll(id=re.compile('^map[0-9]+$'))  #################
    for table in maptables:
        for line in table.findAll('a', 'maptitle'):  ################
            mapid = re.search(uid+'\.([^"]*)', str(line)).group(1)
            mapname = re.search('>(.*)</a>', str(line)).group(1).strip()[:-3]
            print shown, mapid, '\t', mapname
            shown += 1

            urllib.urlretrieve('http://maps.google.com.br/maps/ms?msid=' + uid + '.' + str(mapid) +
                               '&msa=0&output=kml', mapname + '.kml')


    if '<span>Next</span>' in str(source):
        start += 5
    else:
        break

如您所见，使用 BSoup 的代码只有三行，但我不是程序员，尝试使用其他标准的 HTML 和 XML 解析工具时遇到了很多困难，可能是因为我尝试了错误的方法，我猜。

编辑：这个问题更多的是关于替换这个脚本的三行代码，而不是找到解决可能存在的通用 html 解析问题的方法。

任何帮助将不胜感激，感谢阅读！

Answer 1

不幸的是，Python 在标准库中没有有用的 HTML 解析，因此解析 HTML 的唯一合理方法是使用第三方模块，如 lxml.html 或 BeautifulSoup。这并不意味着您必须有一个单独的依赖项——这些模块是免费软件，如果您不想要外部依赖项，欢迎您将它们与您的代码捆绑在一起，这样就不会再使它们成为依赖比你自己写的代码。

Answer 2

解析 HTML 代码我看到有三种解决方案：

• 使用简单的字符串搜索 (.find(),...) 快！
• 使用正则表达式（又名正则表达式）
• 使用 HTMLParser

Answer 3

我已经尝试过这段代码（见下文），它显示了一个链接列表。由于我没有安装漂亮的汤并且不想安装，因此我很难根据您的代码给出的结果来检查结果。 没有任何“汤”的“纯”python代码甚至更短、更易读。 不管怎样，就在这里。告诉我你的想法 ！友好的，路易斯。

#coding: utf-8

import urllib, re

uid = '200931058040775970557'
start = 0
shown = 1

while True:
    url = 'http://maps.google.com/maps/user?uid='+uid+'&ptab=2&start='+str(start)
    source = urllib.urlopen(url).read()
    while True:
        endit = source.find('maptitle')
        mapid = re.search(uid+'\.([^"]*)', str(source)).group(1)
        mapname = re.search('>(.*)</a>', str(source)).group(1).strip()[:-3]
        print shown, mapid, '\t', mapname
        shown += 1
        urllib.urlretrieve('http://maps.google.com.br/maps/ms?msid=' + uid + '.' + str(mapid) + '&msa=0&output=kml', mapname + '.kml')

    if '<span>Next</span>' in str(source):
        start += 5
    else:
        break