scrapy中的xpath没有返回预期？

【问题标题】：xpath in scrapy does not return expected?scrapy中的xpath没有返回预期？
【发布时间】：2020-03-05 05:32:38
【问题描述】：

我正在尝试抓取以下网页：
https://www.sahibinden.com/ilan/vasita-otomobil-mercedes-benz-86-model-mercedes-190e-sedan-kasa-797598390/detay

但是遵循两个 xpath 表达式不会在 scrapy shell 中返回任何内容，但是当我在 chrome 控制台中并编写它们时会得到结果。你知道为什么吗？

//*[@id="classifiedDetail"]/div[1]/div[2]/div[2]/h3

//*[@id="gaPageViewTrackingJson"]

【问题讨论】：

  • 我确实找到了使用 Selenium 的解决方案。由于网页使用的是动态计算的 dcom 对象，scrapy 无法处理它们

标签： javascript python xpath web-scraping scrapy


【解决方案1】：

该页面的内容似乎是动态加载的，这就是您无法通过 xpath 访问元素的原因。我建议完全使用 Selenium 而不是 Scrapy，但如果你真的想用 scrapy 来做，请使用 scrapy-splash 插件。

来源：Working on dynamic content in Scrapy

【讨论】：

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-02-27
    • 2021-11-24
    • 2021-12-20
    • 2021-05-01
    • 2019-04-07
    • 1970-01-01
    • 2020-10-19
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode