Scrapy - 抓取多个物品

Question

scrapy 新手，请多多包涵。

首先，这是我的代码：

from scrapy.spider     import BaseSpider
from scrapy.selector     import HtmlXPathSelector
from usdirectory.items    import UsdirectoryItem
from scrapy.http    import Request


class MySpider(BaseSpider):
    name         = "usdirectory"
    allowed_domains    = ["domain.com"]
    start_urls    = ["url_removed_sorry"]

    def parse(self, response):
        hxs     = HtmlXPathSelector(response)
        titles     = hxs.select('//*[@id="holder_result2"]/a[1]/span/span[1]/text()').extract()
        for title in titles:
                item = UsdirectoryItem()
                item["title"] = title
                item


        yield item

这行得通...但它只抓取第一个项目。

我注意到在我试图抓取的项目中，每行的 Xpath 都会发生变化。例如，第一行是您在上面看到的 xpath：

//*[@id="holder_result2"]/a[1]/span/span[1]/text()

然后它增加 2，一直到 29。所以第二个结果：

//*[@id="holder_result2"]/a[3]/span/span[1]/text()

最后结果：

//*[@id="holder_result2"]/a[29]/span/span[1]/text()

所以我的问题是如何让脚本获取所有这些，我不在乎是否必须为每个项目复制和粘贴代码。所有其他页面完全相同。我只是不知道该怎么做。

非常感谢。

编辑：

import scrapy
from scrapy.item import Item, Field

class UsdirectoryItem(scrapy.Item):
    title = scrapy.Field()

Answer 1

鉴于模式与您描述的完全一样，您可以在 a 的位置索引上使用 XPath modulo operator mod 来获取所有目标 a 元素：

//*[@id="holder_result2"]/a[position() mod 2 = 1]/span/span[1]/text()

为了快速演示，请考虑以下输入 XML：

<div>
 <a>1</a>
 <a>2</a>
 <a>3</a>
 <a>4</a>
 <a>5</a>
</div>

鉴于此 XPath /div/a[position() mod 2 = 1]，将返回以下元素：

<a>1</a>
<a>3</a>
<a>5</a>

在 xpathtester.com here 中查看现场演示

Answer 2

让我知道这是否适合您。请注意，我们正在迭代 a[i] 而不是 a[1]。结果存储在一个列表中（希望如此）。

def parse(self, response):
    hxs = HtmlXPathSelector(response)

    for i in xrange(15):
        titles = hxs.select('//*[@id="holder_result2"]/a[' + str(1+i*2) + ']/span/span[1]/text()').extract()
        for title in titles:
                item = UsdirectoryItem()
                item["title"] = title
                item #erroneous line?
        items.append(item)
        yield item