使用 BeautifulSoup 提取 <a> 标签

Question

我在从https://www.symantec.com/index.jsp 中提取“a”标签时遇到问题。

以下是代码，它给了我一组空的“链接”。

from bs4 import BeautifulSoup
import urllib2

response = urllib2.urlopen('https://www.symantec.com/index.jsp').read()
soup = BeautifulSoup(response, 'html.parser')
links = soup.find_all('a')
print(links)

对于其他 url，该代码可以正常工作，但它不适用于这个。是因为 index.jsp 是动态的吗？解决方案可能是什么？

我正在使用 python 2.7。

Answer 1

将解析器更改为html5lib 或lxml：

soup = BeautifulSoup(response, 'html5lib')
soup = BeautifulSoup(response, 'lxml')

这需要html5lib 或lxml to be installed:

pip install html5lib
pip install lxml

证明：

>>> from bs4 import BeautifulSoup
>>> import urllib2
>>> 
>>> response = urllib2.urlopen('https://www.symantec.com/index.jsp').read()
>>> len(BeautifulSoup(response, 'html.parser').find_all("a"))
0
>>> len(BeautifulSoup(response, 'html5lib').find_all("a"))
187
>>> len(BeautifulSoup(response, 'lxml').find_all("a"))
187

另请参阅文档的相关部分：

• Specifying the parser to use
• Differences between parsers