我想使用 Python 来抓取网页上“您是否在寻找这些作者：”框的内容，例如：http://academic.research.microsoft.com/Search?query=lander
不幸的是，盒子的内容是由 JavaScript 动态加载的。通常在这种情况下，我可以阅读 Javascript 来了解发生了什么，或者我可以使用像 Firebug 这样的浏览器扩展来了解动态内容的来源。这次没有这样的运气...... Javascript 非常复杂，Firebug 没有提供很多关于如何获取内容的线索。
有什么技巧可以让这项任务变得简单吗？
【问题讨论】：
标签： python web-scraping screen-scraping
对于抓取动态内容，您不需要一个简单的抓取器，而是一个成熟的headless browser。
dhamaniasad/HeadlessBrowsers: A list of (almost) all headless web browsers in existence 是我见过的最完整的列表；它列出了每种语言都有哪些绑定。
（请注意，列出的项目中有不少被放弃了！）
【讨论】：
您可以使用 ghost.py 直接与页面上的 JavaScript 交互，而不是尝试对其进行逆向工程。
如果您在 chrome 控制台中运行以下查询，您会看到它返回了您想要的所有内容。
document.getElementsByClassName('inline-text-org');
返回
[<div class="inline-text-org" title="University of Manchester">University of Manchester</div>,
<div class="inline-text-org" title="University of California Irvine">University of California ...</div>
etc...
您可以使用ghost.py 在真实的 DOM 中通过 python 运行 JavaScript。
这真的很酷：
from ghost import Ghost
ghost = Ghost()
page, resources = ghost.open('http://academic.research.microsoft.com/Search?query=lander')
result, resources = ghost.evaluate(
"document.getElementsByClassName('inline-text-org');")
【讨论】：
之前here 提出了一个非常相似的问题。 引用的是 selenium，最初是用于 web-apps 的测试环境。
我通常使用 Chrome 的开发者模式，恕我直言，它已经提供了比 Firefox 更多的细节。
【讨论】：