【问题标题】:How to load only html from web pages in selenium如何仅从硒中的网页加载html
【发布时间】:2015-03-02 06:01:17
【问题描述】:

如何在 selenium 中只加载网页中的 html?

我只需要没有 css 和 javascript 的请求页面的 html。

【问题讨论】:

  • 我能问一下为什么吗? CSS 和 JavaScript 文件是否太大以至于加载它们会显着减慢 selenium 测试?
  • 我想使用selenium 进行网页抓取
  • 正如@BrianHoover 建议的那样,OP,您很可能需要 JS 来正确抓取大量网站——因为元素是使用 JS 加载或更改的。

标签: javascript html css selenium selenium-webdriver


【解决方案1】:

如果您需要 selenium 进行网页抓取,严格来说,您仍然需要需要 javascript 和 css 文件,因为它们可以在页面加载和渲染中发挥重要作用。例如,页面的多个部分可以通过额外的 ajax 调用加载,或通过自定义 javascript 逻辑插入。

另外,如果您只想要页面的 HTML 部分,为什么需要真正的浏览器?

如果您仍然想阻止加载 js 和 css 文件,您可以通过调整 FirefoxProfile 首选项在 Firefox 中配置某些权限,请参阅:

【讨论】:

    猜你喜欢
    • 2023-04-02
    • 1970-01-01
    • 2018-09-25
    • 1970-01-01
    • 2020-05-13
    • 1970-01-01
    • 2018-11-15
    • 2017-12-06
    • 2020-12-12
    相关资源
    最近更新 更多