【问题标题】:Scrapy - Can't locate xpath elementScrapy - 找不到 xpath 元素
【发布时间】:2021-04-11 10:35:36
【问题描述】:

我刚刚开始使用 Scrapy。我想从this page 抓取所有职位并将其保存在 CSV 文件中。但是当我运行命令时:

scrapy 抓取jobscraper -o file.csv

它创建了一个空文件。我做错了什么?

import scrapy


class JobScraper(scrapy.Spider):
    name = "jobscraper"
    start_urls = [
        'https://www.pracuj.pl/praca/it%20-%20rozw%c3%b3j%20oprogramowania;cc,5016/%c5%82%c3%b3dzkie;r,5?rd=0',
    ]

    def parse(self, response):
        for offer in response.xpath('//div[contains(@class, "offer__info")]'):
            data = {
                'title': offer.xpath('//a[@class="offer-details__title-link]').extract_first()
            }
            yield data

【问题讨论】:

    标签: python web-scraping xpath scrapy


    【解决方案1】:
    offer.xpath('//a[@class="offer-details__title-link]')
    

    不是有效的 XPath 表达式。你忘了最后的双引号:

    offer.xpath('//a[@class="offer-details__title-link"]')
    

    【讨论】:

    • 好的,谢谢,但我仍然无法生成包含数据的 CSV 文件。
    • @Kacper_Te - 我刚刚意识到我把双引号放在了错误的位置。现在可以用了吗?
    • 它没有。仍然是空的 csv 文件。
    • 好的,我必须在文件设置中打开 USER_AGENT。现在可以使用了。
    猜你喜欢
    • 1970-01-01
    • 2018-08-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-05-29
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多