直接链接到异步加载的评论？答案

【问题标题】：Direct link to comments that are being loaded asynchronously?直接链接到异步加载的评论？
【发布时间】：2012-04-05 00:29:23
【问题描述】：

我正在使用 change.org 并尝试在请愿书上下载几个 cmets。为此，我想知道当用户点击“加载更多原因”时，cmets 是从哪里拉出来的。例如，看这里：

http://www.change.org/petitions/tell-usda-to-stop-using-pink-slime-in-school-food

查看 Chrome 中的 XHR 请求，我看到请求被发送到 http://www.change.org/petitions/tell-usda-to-stop-using-pink-slime-in-school-food/opinions?page=2&role=comments 当然，页码随着 cmets 被加载的次数而变化。

但是，当我在浏览器中尝试此链接时，它会导致一个空白页面。这是因为 url 中缺少一些数据，还是因为 javascript 中的某些身份验证步骤首先发出请求？

任何指针将不胜感激。谢谢！

编辑：感谢第一个响应，我看到当我使用控制台时正在接收数据。从 python 脚本发出请求时如何接收相同的数据。我是有模仿浏览器还是有办法只使用urllib？

【问题讨论】：

标签： python jquery xmlhttprequest screen-scraping web-scraping

【解决方案1】：

他们必须验证请求的来源。如果您访问该站点，请打开控制台并运行：

$.get('http://www.change.org/petitions/tell-usda-to-stop-using-pink-slime-in-school-food/opinions?page=2&role=comments',{},function(data){console.log(data);});

你会看到数据回来了

【讨论】：

谢谢，这很有帮助。当我运行它时，我确实在控制台中看到了数据。现在有一种无需通过网站即可接收数据的方法。也就是说，我该怎么做才能使用 python 脚本从这个 url 获取数据。