让 BeautifulSoup 找到特定的 答案

【问题标题】：Getting BeautifulSoup to find a specific 让 BeautifulSoup 找到特定的 
【发布时间】：2011-02-01 01:32:46
【问题描述】：

我正在尝试为各种科学期刊网站整合一个基本的 HTML 抓取工具，特别是尝试获取摘要或介绍性段落。

我目前正在研究的期刊是 Nature，我一直用作样本的文章可以在 http://www.nature.com/nature/journal/v463/n7284/abs/nature08715.html 看到。

但是，我无法从该页面中获取摘要。我正在搜索... 标签之间的所有内容，但我似乎无法弄清楚如何隔离它们。我认为这将是一些简单的事情，比如

from BeautifulSoup import BeautifulSoup
import re
import urllib2

address="http://www.nature.com/nature/journal/v463/n7284/full/nature08715.html"
html = urllib2.urlopen(address).read()
soup = BeautifulSoup(html)

abstract = soup.find('p', attrs={'class' : 'lead'})
print abstract

使用 Python 2.5，BeautifulSoup 3.0.8，运行此返回“无”。我没有选择使用其他需要编译/安装的东西（比如 lxml）。 BeautifulSoup 是不是一头雾水，还是我一头雾水？

【问题讨论】：

那是该网站获得的一段令人讨厌的 HTML...
是的，这就是我害怕的。从我感兴趣的中间部分看 prettify() 输出看起来不是很漂亮。

标签： python beautifulsoup html-content-extraction

【解决方案1】：

这是获取摘要的非 BS 方法。

address="http://www.nature.com/nature/journal/v463/n7284/full/nature08715.html"
html = urllib2.urlopen(address).read()
for para in html.split("</p>"):
    if '<p class="lead">' in para:
        abstract=para.split('<p class="lead">')[1:][0]
        print ' '.join(abstract.split("\n"))

【讨论】：

感谢非 BS 解决方案，如果页面真的很丑，我可能需要依靠这个！

【解决方案2】：

那个 html 格式非常错误，xml.dom.minidom 无法解析，BeautiFulSoup 解析也不好。

我删除了一些 部分并使用BeautiFulSoup 再次解析，然后它似乎更好并且能够运行soup.find('p', attrs={'class' : 'lead'})

这是我尝试过的代码

>>> html =re.sub(re.compile("<!--.*?-->",re.DOTALL),"",html)
>>>
>>> soup=BeautifulSoup(html)
>>>
>>> soup.find('p', attrs={'class' : 'lead'})
<p class="lead">The class of exotic Jupiter-mass planets that orb  .....

【讨论】：

这似乎也适合我。非常感谢！