如何使用产量而不是使用scrapy选择器和硒打印？

Question

from scrapy import Spider
from selenium import webdriver
from scrapy.selector import Selector

class FlipkartSpider(Spider):
    name = 'flipkarttrial1'
    allowed_domains = ['flipkart.com']

    def start_requests(self):
        self.driver = webdriver.Chrome('C:\\Users\\xyz\\chromedriver')
        self.driver.get('https://www.flipkart.com/womens-footwear/heels/pr?sid=osp,iko,6q1&otracker=nmenu_sub_Women_0_Heels')
        sel = Selector(text=self.driver.page_source)
        prices = sel.xpath('//div/div[@class="_1vC4OE"]/text()').extract()
        for price in prices:
            print(price)

    def parse(self, response):
        pass

这里 scraper 打印价格，但是当我使用 yield 时，它会引发错误。我想将价格保存到 csv 文件。如何使用 'yield' 保存数据？

Answer 1

您可以轻松地省略 selenium 和 scrapy.Selector，只使用 parse 方法中的响应。

import scrapy

class FlipkartSpider(scrapy.Spider):
    name = 'flipkarttrial1'
    allowed_domains = ['flipkart.com']


    def start_requests(self):
        url = 'https://www.flipkart.com/womens-footwear/heels/pr?sid=osp,iko,6q1&otracker=nmenu_sub_Women_0_Heels'
        yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        prices = response.xpath('//div/div[@class="_1vC4OE"]/text()').extract()
        for price in prices:
            yield {'price':price}

然后使用scrapy crawl flipkarttrial1 -o data.csv -t csv运行它

已编辑：如果你还想要 Selenium，你可以使用 python 的 csv 模块来编写 csv 文件。

start_request 方法必须返回一个scrapy.Request(url, callback) 对象，然后回调方法（在下面的代码中，parse 方法是回调）是完成其余工作的方法。

class FlipkartSpider(Spider):
    name = 'flipkarttrial1'
    allowed_domains = ['flipkart.com']
    start_urls = ['https://www.flipkart.com/womens-footwear/heels/pr?sid=osp,iko,6q1&otracker=nmenu_sub_Women_0_Heels']

    def parse(self, response):
        self.driver = webdriver.Chrome('C:\xyz\chromedriver')
        self.driver.get(response.url)
        sel = Selector(text=self.driver.page_source)
        prices = sel.xpath('//div/div[@class="_1vC4OE"]/text()').extract()

        output = open('output_data.csv', 'w')
        fieldnames = ['price']
        csv_file = csv.DictWriter(output, fieldnames)

        for price in prices:
            yield csv_file.writerow({fieldnames[0]: price})

Answer 2

您必须yield 一个正确的 Python 字典，如下所示

我猜你不能从 strat_requests 中产生项目，所以只需执行一个虚拟请求，然后在 parse 方法中产生项目

def start_requests(self):
    yield scrapy.Request(url=“http://ip-api.com/json”, callback=self.parse)

def parse(self, response):
    self.driver = webdriver.Chrome('C:\\Users\\xyz\\chromedriver')
    self.driver.get('https://www.flipkart.com/womens-footwear/heels/pr?sid=osp,iko,6q1&otracker=nmenu_sub_Women_0_Heels')
    sel = Selector(text=self.driver.page_source)
    prices = sel.xpath('//div/div[@class="_1vC4OE"]/text()').extract()
    for price in prices:
        yield {“price": price}