按下按钮后如何访问网页的HTML

Question

我正在尝试从以下网页中抓取一些数据：

College Board - Georgia Institute of Technology

但我需要访问的信息只有在按下左侧的“应用”选项卡后才会显示。由于 URL 没有改变，如何模拟按下按钮以抓取 HTML？

我正在使用 Python3.3 和 requests 模块。

Answer 1

根据页面来源，您需要的信息隐藏在 javascript 代码中，并在单击“应用”链接后计算和呈现。

requests 根本无法在浏览器中进行用户操作，并且由于单击“应用”后没有其他请求，因此如果没有真正的浏览器来运行该 js 代码，您将无法获取数据。 Mechanize 也无济于事，因为它无法处理 js。

考虑使用selenium（仅供参考，您也可以use a headless PhantomJS browser）。

希望对您有所帮助。