解析 HTML 无限滚动

【问题标题】：Parse HTML Infinite Scroll解析 HTML 无限滚动
【发布时间】：2013-10-30 23:48:03
【问题描述】：

我正在尝试解析无限滚动页面的 HTML。我想加载所有内容，以便我可以全部解析。我正在使用 Python。有什么提示吗？

【问题讨论】：

【解决方案1】：

这些页面使用 AJAX 更新其 html。通常你只需要找到浏览器发送的新的AJAX请求，猜测AJAX url参数的含义，然后从API中获取数据。

API 服务器可能会验证 AJAX 请求的用户代理、referer、cookie、oauth_token ...，请密切关注它们。

【讨论】：

【解决方案2】：

数据是

你可以使用httpfox找到请求并发送

【讨论】：