带有scrapy的硒用于动态页面

Question

我正在尝试使用 scrapy 从网页中抓取产品信息。我的待抓取网页是这样的：

• 从包含 10 个产品的 product_list 页面开始
• 单击“下一步”按钮可加载接下来的 10 个产品（两个页面之间的 URL 不变）
• 我使用 LinkExtractor 跟随每个产品链接进入产品页面，并获取我需要的所有信息

我尝试复制 next-button-ajax-call 但无法正常工作，因此我尝试使用 selenium。我可以在单独的脚本中运行 selenium 的 webdriver，但我不知道如何与 scrapy 集成。我应该把硒部分放在我的爬虫蜘蛛的哪里？

我的蜘蛛很标准，如下所示：

class ProductSpider(CrawlSpider):
    name = "product_spider"
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/shanghai']
    rules = [
        Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="productList"]//dl[@class="t2"]//dt'), callback='parse_product'),
        ]

    def parse_product(self, response):
        self.log("parsing product %s" %response.url, level=INFO)
        hxs = HtmlXPathSelector(response)
        # actual data follows

任何想法都值得赞赏。谢谢！

Answer 1

这实际上取决于您需要如何抓取网站以及您想要获取哪些数据以及如何获取数据。

这是一个示例，您可以使用 Scrapy+Selenium 在 ebay 上跟踪分页：

import scrapy
from selenium import webdriver

class ProductSpider(scrapy.Spider):
    name = "product_spider"
    allowed_domains = ['ebay.com']
    start_urls = ['http://www.ebay.com/sch/i.html?_odkw=books&_osacat=0&_trksid=p2045573.m570.l1313.TR0.TRC0.Xpython&_nkw=python&_sacat=0&_from=R40']

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self, response):
        self.driver.get(response.url)

        while True:
            next = self.driver.find_element_by_xpath('//td[@class="pagn-next"]/a')

            try:
                next.click()

                # get the data and write it to scrapy items
            except:
                break

        self.driver.close()

以下是“硒蜘蛛”的一些示例：

• Executing Javascript Submit form functions using scrapy in python
• https://gist.github.com/cheekybastard/4944914
• https://gist.github.com/irfani/1045108
• http://snipplr.com/view/66998/

---

除了将Selenium 与Scrapy 一起使用之外，还有另一种方法。在某些情况下，使用ScrapyJS middleware 足以处理页面的动态部分。实际使用示例：

• Scraping dynamic content using python-Scrapy

Answer 2

如果（两个页面之间的 url 没有改变）那么你应该在你的 scrapy.Request() 中添加 dont_filter=True ，否则在处理第一页之后，scrapy 会发现这个 url 是重复的。

如果您需要使用 javascript 渲染页面，您应该使用scrapy-splash，您也可以查看scrapy middleware，它可以使用 selenium 处理 javascript 页面，或者您可以通过启动任何无头浏览器来做到这一点

但更有效和更快的解决方案是检查您的浏览器并查看在提交表单或触发特定事件期间发出了哪些请求。尝试模拟浏览器发送的相同请求。如果您可以正确复制请求，您将获得所需的数据。

这是一个例子：

class ScrollScraper(Spider):
    name = "scrollingscraper"

    quote_url = "http://quotes.toscrape.com/api/quotes?page="
    start_urls = [quote_url + "1"]

    def parse(self, response):
        quote_item = QuoteItem()
        print response.body
        data = json.loads(response.body)
        for item in data.get('quotes', []):
            quote_item["author"] = item.get('author', {}).get('name')
            quote_item['quote'] = item.get('text')
            quote_item['tags'] = item.get('tags')
            yield quote_item

        if data['has_next']:
            next_page = data['page'] + 1
            yield Request(self.quote_url + str(next_page))

当每个页面的分页 url 相同并且使用 POST 请求时，您可以使用 scrapy.FormRequest() 而不是 scrapy.Request()，两者相同但FormRequest 向构造函数添加一个新参数 (formdata=)。

这是post的另一个蜘蛛示例：

class SpiderClass(scrapy.Spider):
    # spider name and all
    name = 'ajax'
    page_incr = 1
    start_urls = ['http://www.pcguia.pt/category/reviews/#paginated=1']
    pagination_url = 'http://www.pcguia.pt/wp-content/themes/flavor/functions/ajax.php'

    def parse(self, response):

        sel = Selector(response)

        if self.page_incr > 1:
            json_data = json.loads(response.body)
            sel = Selector(text=json_data.get('content', ''))

        # your code here

        # pagination code starts here
        if sel.xpath('//div[@class="panel-wrapper"]'):
            self.page_incr += 1
            formdata = {
                'sorter': 'recent',
                'location': 'main loop',
                'loop': 'main loop',
                'action': 'sort',
                'view': 'grid',
                'columns': '3',
                'paginated': str(self.page_incr),
                'currentquery[category_name]': 'reviews'
            }
            yield FormRequest(url=self.pagination_url, formdata=formdata, callback=self.parse)
        else:
            return