Python：使用我的 HTML 解析器仅返回 hosts/a href

Question

我有一个不使用任何外部库或包（例如 Beautiful Soup 等）的 HTML 解析器。它可以工作，这里它需要一个命令行 html 文件并只返回文本。

我想修改它，或者让它有一个只返回主机名的功能，例如标签中的HOST；让它只返回主机，只返回顶级目录，如“stackoverflow.com”等。

class _DeHTMLParser(HTMLParser):
def __init__(self):
    HTMLParser.__init__(self)
    self.__text = []

def handle_data(self, data):
    text = data.strip()
    if len(text) > 0:
        text = sub('[ \t\r\n]+', ' ', text)  #probably alter here?
        self.__text.append(text + ' ')

def handle_starttag(self, tag, attrs):
    if tag == 'p':
        self.__text.append('\n\n')
    elif tag == 'br':
        self.__text.append('\n')

def handle_startendtag(self, tag, attrs):
    if tag == 'br':
        self.__text.append('\n\n')

def text(self):
    return ''.join(self.__text).strip()


def dehtml():  #have it pass line?
    try:
        parser = _DeHTMLParser()

        f = open(sys.argv[1], 'r')  #not argv[1] but stdin all?
        text = f.read()
        f.close()

        parser.feed(text)
        parser.close()
        return parser.text()
    except:
        print_exc(file=stderr)
        return text

现在我可以调用 dehtml() 并且它运行返回纯文本/无标签版本。

为了让它也打印出主机，我将它添加到 def handle_starttag

if tag == 'a href':
        self.__text.append()

看看它是否会，作为第一次尝试，附加主机名，但没有运气。我相信问题出在我的 handle_data 部分，特别是在正则表达式位 - 这是正确的吗？

Answer 1

handle_starttag 方法包含跟踪主机所需的所有信息。您需要解析网址，因此将其添加到顶部

from urlparse import urlparse

然后在初始化时添加一个容器来保存主机

def __init__(self):
    HTMLParser.__init__(self)
    self.__text = []
    self.hosts = set()

然后，当您在 starttag 中时，抓住主机。 （编辑：错误地将 attr 用作字典）

def handle_starttag(self, tag, attrs):
    if tag == 'p':
        self.__text.append('\n\n')
    elif tag == 'br':
        self.__text.append('\n')
    elif tag == 'a':
        for name, value in attrs:
            if name == 'href':
                self.hosts.add(urlparse(value).netloc.split(':')[0].lower())
                break