用beautifulsoup查看整个网页

【问题标题】：Viewing whole webpage with beautifulsoup用beautifulsoup查看整个网页
【发布时间】：2013-06-22 01:47:38
【问题描述】：

我正在抓取一个网站，但它只在底部显示网站的一部分，它有一个查看更多按钮。无论如何可以通过python查看网页上的所有内容吗？

【问题讨论】：

【解决方案1】：

BeautifulSoup 只是解析返回的 HTML。它不执行 JavaScript，JavaScript 通常用于加载新内容或在加载后修改现有网页。

您需要执行 JavaScript，这不仅需要 HTML 解析器。您基本上需要使用浏览器。有几个 Python 包可以做到这一点：

【讨论】：