无法从 span scrapy python 获取文本

Question

所以我正在制作一个机器人来从 Zara 产品中获取价格和名称，我设法获取了产品名称，但它返回的价格为 []。

这是我的代码：

#!/usr/bin/python3
#-*- coding: utf-8 -*-

import scrapy

class Zara(scrapy.Spider):
    name = 'Zara'

def start_requests(self, url='https://www.zara.com/pt/pt/casaco-l%C3%A3-quadrados-p02092540.html?v1=42984974&v2=1445646'):
    yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):
    try:
        name = response.xpath('//*[@id="product"]/div[1]/div/div[2]/header/h1/text()').get()
        price = response.xpath('//*[@id="product"]/div[1]/div/div[2]/div[1]/span/text()').get()
    except:
        print('Fail')

    print(name)
    print(price)

它返回什么：

CASACO LÃ QUADRADOS
[]

它应该返回什么：

CASACO LÃ QUADRADOS
149,00 EUR

我尝试过的一切：

price = response.xpath('//*[@id="product"]/div[1]/div/div[2]/div[1]/span').get()
price = response.xpath('//*[@id="product"]/div[1]/div/div[2]/div[1]/span/text()').get()
price = response.xpath('//*[@id="product"]/div[1]/div/div[2]/div[1]/span[@class="main-price"]').get()
price = response.xpath('//*[@id="product"]/div[1]/div/div[2]/div[1]/span[@class="main-price"]/text()').get()

我想这就是我所尝试的！ 我正在使用带有 python 3.7 的 scrapy 1.8 版

Answer 1

您无法使用普通的“xpath/css”方法获取价格的原因是，您的爬虫无法直接使用“价格”字段。您的爬虫看到的页面不同，因此 xpath(s) 完全不同。

试试这个方法：

from re import search

_script = response.xpath("//script[contains(text(),'price')][1]")[0].extract()
price = search ( r",.price.:(\d+)", _script ).group(1)

此外，最好使用不同的尝试...除了个别字段，以便您知道究竟是哪个部分产生了错误，以便进一步纠正。