【问题标题】:Viewing whole webpage with beautifulsoup用beautifulsoup查看整个网页
【发布时间】:2013-06-22 01:47:38
【问题描述】:

我正在抓取一个网站,但它只在底部显示网站的一部分,它有一个查看更多按钮。无论如何可以通过python查看网页上的所有内容吗?

【问题讨论】:

    标签: python web web-scraping beautifulsoup


    【解决方案1】:

    BeautifulSoup 只是解析返回的 HTML。它不执行 JavaScript,JavaScript 通常用于加载新内容或在加载后修改现有网页。

    您需要执行 JavaScript,这不仅需要 HTML 解析器。您基本上需要使用浏览器。有几个 Python 包可以做到这一点:

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-10-10
      • 1970-01-01
      • 2019-09-25
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-05-19
      • 1970-01-01
      相关资源
      最近更新 更多