使用 Python 抓取 Web 应用程序

Question

到目前为止，我在网络抓取方面的大部分经验都相当简单易懂。发送请求，下载 HTML，然后提取所需信息。目前，我有兴趣从 Spotify Web 应用程序中抓取热门播放数据。这些数据无法通过他们的 API 访问，但在浏览不同的艺术家页面时可以看到。

例如，可以在此链接中找到 The National 的热门曲目：https://play.spotify.com/artist/2cCUtGK9sDU2EoElnk0GNB

我的问题是，这些数据是如何在幕后生成的，是否可以抓取这些数据？

Answer 1

数据是动态生成的（下载 HTML 不会成功），前端使用 FLEX，后端使用 C++/Python（根据 this）。 无论如何，如果你需要抓取 JavaScript 生成的内容，这将是一件很困难的事情，而且比抓取静态网站要复杂得多。

我建议您使用 PhantomJS（可使用 JS API 编写脚本的无头 WebKit）或 Selenium（自动浏览器测试/抓取）。