如何使用 ajax 调用下载网页答案

【问题标题】：how to download a web page with ajax calls如何使用 ajax 调用下载网页
【发布时间】：2013-03-09 00:13:22
【问题描述】：

我想在这里下载所有标题文章的列表， http://seekingalpha.com/symbol/amzn

但是有一个“更多”按钮进行 Ajax 调用。有没有办法可以下载完整的文章列表？

我不熟悉 javascript 或 Ajax，所以任何建议都会很有帮助。

这是按钮的 javascript 函数。

function portfolioPagination(type, page, direction){
  if ($(type + '_show_more')) {
    $(type + '_show_more').remove();
    $('show-more-preloader').style.display = "";
  }
  if (page == 0) return;
  new Ajax.Updater({success: 'headlines_'+type}, '/account/ajax_headlines_content', {
    parameters: { type: type, page: page, slugs: 'amzn', is_symbol_page : true},
    insertion: 'bottom',
    onComplete: function(){$('show-more-preloader').style.display = "none";}
  });
  if (window.pageTracker) pageTracker._trackEvent("Portfolio Tracking", 'Pagination', type+" - "+direction);
}

【问题讨论】：

是的，这是可能的，但这不是您面临的问题。您要求我们为您编写代码。您遇到问题的具体部分是什么？
检查网站是否提供API，而不是尝试读取HTML网页。
对不起，我的问题不是很具体。我不知道从哪里开始，所以我在问我应该修改哪个部分，或者如何进行手动查询以及如何将其发送到服务器。谢谢，我会检查他们是否提供 API。

标签： javascript ajax web-scraping

【解决方案1】：

使用 Chrome 检查器或 Firebug 或类似的东西来查看 AJAX 请求，可能类似于 ../account/ajax_headlines_content/.. 并查看该请求的结果。有你想要的数据。

网址是：http://seekingalpha.com/account/ajax_headlines_content

数据为（Form Data）：

type: all
page: 2
slugs: amzn
is_symbol_page: true
_:

它似乎也接受$_GET：http://seekingalpha.com/account/ajax_headlines_content?type=all&page=2&slugs=amzn&is_symbol_page=true&_=

【讨论】：

感谢您的回答！使用 $_GET 对我来说会容易得多。