使用漂亮的汤来清理从 scrapy 中抓取的 HTML

Question

我正在使用 scrapy 尝试从 Google Scholar 中抓取一些我需要的数据。以以下链接为例：http://scholar.google.com/scholar?q=intitle%3Apython+xpath

现在，我想删除此页面上的所有标题。我正在遵循的过程如下：

scrapy shell "http://scholar.google.com/scholar?q=intitle%3Apython+xpath"

这给了我scrapy shell，我在里面做：

>>> sel.xpath('//h3[@class="gs_rt"]/a').extract()

[
 u'<a href="http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.122.4438&amp;rep=rep1&amp;type=pdf"><b>Python </b>Paradigms for XML</a>', 
 u'<a href="https://svn.eecs.jacobs-university.de/svn/eecs/archive/bsc-2009/sbhushan.pdf">NCClient: A <b>Python </b>Library for NETCONF Clients</a>', 
 u'<a href="http://hal.archives-ouvertes.fr/hal-00759589/">PALSE: <b>Python </b>Analysis of Large Scale (Computer) Experiments</a>', 
 u'<a href="http://i.iinfo.cz/r2/kd/xmlprague2007.pdf#page=53"><b>Python </b>and XML</a>', 
 u'<a href="http://www.loadaveragezero.com/app/drx/Programming/Languages/Python/">drx: <b>Python </b>Programming Language [Computers: Programming: Languages: <b>Python</b>]-loadaverageZero</a>', 
 u'<a href="http://www.worldcolleges.info/sites/default/files/py10.pdf">XML and <b>Python </b>Tutorial</a>', 
 u'<a href="http://dl.acm.org/citation.cfm?id=2555791">Zato\u2014agile ESB, SOA, REST and cloud integrations in <b>Python</b></a>', 
 u'<a href="ftp://ftp.sybex.com/4021/4021index.pdf">XML Processing with Perl, <b>Python</b>, and PHP</a>', 
 u'<a href="http://books.google.com/books?hl=en&amp;lr=&amp;id=El4TAgAAQBAJ&amp;oi=fnd&amp;pg=PT8&amp;dq=python+xpath&amp;ots=RrFv0f_Y6V&amp;sig=tSXzPJXbDi6KYnuuXEDnZCI7rDA"><b>Python </b>&amp; XML</a>', 
 u'<a href="https://code.grnet.gr/projects/ncclient/repository/revisions/efed7d4cd5ac60cbb7c1c38646a6d6dfb711acc9/raw/docs/proposal.pdf">A <b>Python </b>Module for NETCONF Clients</a>'
]

如您所见，此输出是需要清理的原始 HTML。我现在对如何清理这个 HTML 有了很好的了解。最简单的方法可能是使用 BeautifulSoup 并尝试以下方法：

t = sel.xpath('//h3[@class="gs_rt"]/a').extract()
soup = BeautifulSoup(t)
text_parts = soup.findAll(text=True)
text = ''.join(text_parts)

这是基于较早的SO question。建议使用正则表达式版本，但我猜 BeautifulSoup 会更健壮。

我是一个好斗的 n00b，不知道如何将它嵌入到我的蜘蛛中。我试过了

from scrapy.spider import Spider
from scrapy.selector import Selector
from bs4 import BeautifulSoup

from scholarscrape.items import ScholarscrapeItem

class ScholarSpider(Spider):
    name = "scholar"
    allowed_domains = ["scholar.google.com"]
    start_urls = [
        "http://scholar.google.com/scholar?q=intitle%3Apython+xpath"
    ]

    def parse(self, response):
        sel = Selector(response)
        item = ScholarscrapeItem()        
        t = sel.xpath('//h3[@class="gs_rt"]/a').extract()
        soup = BeautifulSoup(t)
        text_parts = soup.findAll(text=True)
        text = ''.join(text_parts)
        item['title'] = text
        return(item)

但这并不完全奏效。任何建议都会有所帮助。

---

编辑 3：根据建议，我已将蜘蛛文件修改为：

from scrapy.spider import Spider
from scrapy.selector import Selector
from bs4 import BeautifulSoup

from scholarscrape.items import ScholarscrapeItem

class ScholarSpider(Spider):
    name = "dmoz"
    allowed_domains = ["sholar.google.com"]
    start_urls = [
        "http://scholar.google.com/scholar?q=intitle%3Anine+facts+about+top+journals+in+economics"
    ]

    def parse(self, response):
        sel = Selector(response)
        item = ScholarscrapeItem()        
        titles = sel.xpath('//h3[@class="gs_rt"]/a')

        for title in titles:
            title = item.xpath('.//text()').extract()
            print "".join(title)

但是，我得到以下输出：

2014-02-17 15:11:12-0800 [scrapy] 信息：Scrapy 0.22.2 开始（机器人：scrapy） 2014-02-17 15:11:12-0800 [scrapy] 信息：可用的可选功能：ssl、http11 2014-02-17 15:11:12-0800 [scrapy] 信息：覆盖设置：{'NEWSPIDER_MODULE'：'scholarscrape.spiders'，'SPIDER_MODULES'：['scholarscrape.spiders']，'BOT_NAME'：'scholarscrape' } 2014-02-17 15:11:12-0800 [scrapy] 信息：启用的扩展：LogStats、TelnetConsole、CloseSpider、WebService、CoreStats、SpiderState 2014-02-17 15:11:13-0800 [scrapy] 信息：已启用下载器中间件：HttpAuthMiddleware、DownloadTimeoutMiddleware、UserAgentMiddleware、RetryMiddleware、DefaultHeadersMiddleware、MetaRefreshMiddleware、HttpCompressionMiddleware、RedirectMiddleware、CookiesMiddleware、ChunkedTransferMiddleware、DownloaderStats 2014-02-17 15:11:13-0800 [scrapy] 信息：启用蜘蛛中间件：HttpErrorMiddleware、OffsiteMiddleware、RefererMiddleware、UrlLengthMiddleware、DepthMiddleware 2014-02-17 15:11:13-0800 [scrapy] 信息：启用的项目管道： 2014-02-17 15:11:13-0800 [dmoz] 信息：蜘蛛打开 2014-02-17 15:11:13-0800 [dmoz] 信息：抓取 0 页（以 0 页/分钟），抓取 0 项（以 0 项/分钟） 2014-02-17 15:11:13-0800 [scrapy] 调试：Telnet 控制台监听 0.0.0.0:6023 2014-02-17 15:11:13-0800 [scrapy] 调试：Web 服务监听 0.0.0.0:6080 2014-02-17 15:11:13-0800 [dmoz] 调试：已爬网 (200) （参考：无） 2014-02-17 15:11:13-0800 [dmoz] 错误：蜘蛛错误处理 回溯（最近一次通话最后）： 文件“/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/twisted/internet/base.py”，第 1178 行，在 mainLoop self.runUntilCurrent() 文件“/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/twisted/internet/base.py”，第 800 行，在 runUntilCurrent call.func(*call.args, **call.kw) 回调中的文件“/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/twisted/internet/defer.py”，第 368 行 self._startRunCallbacks（结果） _startRunCallbacks 中的文件“/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/twisted/internet/defer.py”，第 464 行 self._runCallbacks() --- --- _runCallbacks 中的文件“/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/twisted/internet/defer.py”，第 551 行 current.result = callback(current.result, *args, **kw) 解析中的文件“/Users/krishnan/work/research/journals/code/scholarscrape/scholarscrape/spiders/scholar_spider.py”，第 20 行 title = item.xpath('.//text()').extract() 文件“/Library/Python/2.7/site-packages/scrapy/item.py”，第 65 行，在 __getattr__ 引发 AttributeError(name) exceptions.AttributeError: xpath 2014-02-17 15:11:13-0800 [dmoz] 信息：关闭蜘蛛（已完成） 2014-02-17 15:11:13-0800 [dmoz] 信息：转储 Scrapy 统计信息： {'downloader/request_bytes': 247, '下载者/request_count': 1, 'downloader/request_method_count/GET': 1, “下载器/响应字节”：108851， '下载者/response_count': 1, 'downloader/response_status_count/200': 1, 'finish_reason': '完成', 'finish_time': datetime.datetime(2014, 2, 17, 23, 11, 13, 196648), 'log_count/DEBUG': 3, “日志计数/错误”：1， 'log_count/INFO': 7, 'response_received_count': 1, “调度程序/出队”：1， '调度程序/出队/内存'：1， “调度程序/排队”：1， '调度程序/排队/内存'：1， 'spider_exceptions/AttributeError': 1, 'start_time': datetime.datetime(2014, 2, 17, 23, 11, 13, 21701)} 2014-02-17 15:11:13-0800 [dmoz] 信息：蜘蛛关闭（完成）

---

编辑 2： 我最初的问题完全不同，但我现在确信这是正确的方法。原始问题（以及下面的第一个编辑）：

我正在使用 scrapy 尝试从 Google Scholar 中抓取一些我需要的数据。以以下链接为例：

http://scholar.google.com/scholar?q=intitle%3Apython+xpath

现在，我想删除此页面上的所有标题。我正在遵循的过程如下：

scrapy shell "http://scholar.google.com/scholar?q=intitle%3Apython+xpath"

这给了我scrapy shell，我在里面做：

>>> sel.xpath('string(//h3[@class="gs_rt"]/a)').extract()
[u'Python Paradigms for XML']

如您所见，这只选择了第一个标题，而没有选择页面上的其他标题。我不知道应该将 XPath 修改为什么，以便选择页面上的所有此类元素。非常感谢任何帮助。

---

编辑 1：我的第一个方法是尝试

>>> sel.xpath('//h3[@class="gs_rt"]/a/text()').extract()
[u'Paradigms for XML', u'NCClient: A ', u'Library for NETCONF Clients', 
 u'PALSE: ', u'Analysis of Large Scale (Computer) Experiments', u'and XML', 
 u'drx: ', u'Programming Language [Computers: Programming: Languages: ',
 u']-loadaverageZero', u'XML and ', u'Tutorial', 
 u'Zato\u2014agile ESB, SOA, REST and cloud integrations in ', 
 u'XML Processing with Perl, ', u', and PHP', u'& XML', u'A ', 
 u'Module for NETCONF Clients']

这种方法的问题在于，如果您查看实际的 Google Scholar 页面，您会看到第一个条目实际上是“Python Paradigms for XML”而不是“Paradigms for XML”作为scrapy返回。我对这种行为的猜测是“Python”被困在标签中，这就是为什么text() 没有做我们想让他做的事情。

Answer 1

这是一个非常有趣且相当困难的问题。您面临的问题涉及标题中的“Python”以粗体显示，它被视为节点，而标题的其余部分只是一个文本，因此 text() 仅提取文本内容而不是内容<b>节点。

这是我的解决方案。首先获取所有链接：

titles = sel.xpath('//h3[@class="gs_rt"]/a')

然后遍历它们并选择每个节点的所有文本内容，换句话说，将 <b> 节点与此链接的每个子节点的文本节点连接

for item in titles:
    title = item.xpath('.//text()').extract()
    print "".join(title)

这是可行的，因为在 for 循环中，您将处理每个链接的子项的文本内容，因此您将能够加入匹配的元素。循环中的标题将相等，例如：[u'Python ', u'Paradigms for XML'] 或 [u'NCClient: A ', u'Python ', u'Library for NETCONF Clients']

Answer 2

XPath string() 函数只返回您传递给它的第一个节点的字符串表示形式。

正常提取节点即可，不要使用string()。

sel.xpath('//h3[@class="gs_rt"]/a').extract()

或

sel.xpath('//h3[@class="gs_rt"]/a/text()').extract()