使用 JavaScript 回发抓取 HTML

Question

我正在尝试抓取一些 HTML（经作者许可）。我使用的是 PHP 库 suggested here，它运行良好，直到我遇到如下所示的链接：

<a href="javascript:__doPostBack('dgItem$_ctl2$_ctl0','')">

我相信这是一些 asp.net 的东西。当我点击它时，它不会更改 URL，它只是将一些新内容加载到页面中，我也想抓取这些内容。

我该如何解决这个问题？

我想我需要模拟点击，但在处理原始 HTML 时我不能这样做，我需要某种浏览器/JS 解释器，不是吗？

是否有更适合此任务的库？我不限于 PHP，但它是首选。

Answer 1

__doPostBack() 确实是 ASP.NET 的东西。下面是函数的作用：

var theForm = document.forms['FORMNAME'];
if (!theForm) {
    theForm = document.FORMNAME;
}
function __doPostBack(eventTarget, eventArgument) {
    if (!theForm.onsubmit || (theForm.onsubmit() != false)) {
        theForm.__EVENTTARGET.value = eventTarget;
        theForm.__EVENTARGUMENT.value = eventArgument;
        theForm.submit();
    }
}

基本上，它将两个隐藏字段（__EVENTTARGET 和__EVENTARGUMENT）的值设置为参数的相应值。然后它提交表单。

如果您愿意，您可以继续使用 PHP HTML 解析器来完成这项工作，但是当您遇到这些 __doPostBack() 链接之一时，您必须手动制作一个 POST 请求。在高层次上，你会看到这样的东西：

1. 获取当前表单值。您可能必须遍历每个 input 元素等并将值添加到数组中。如果页面上没有文本框、复选框等，则默认情况下应该只留下隐藏的 .NET 嵌入字段（例如，__VIEWSTATE、__EVENTVALIDATION 等）。
2. 解析传递给doPostBack() 的值并覆盖__EVENTTARGET 和__EVENTARGUMENT 的现有值。
3. 制作您的 POST 请求。我不确定您正在查看的库是什么（如果有的话）以这种方式提供，但是从 PHP 执行此操作的一种流行方法是通过 cURL 扩展。例如，请参阅http://davidwalsh.name/execute-http-post-php-curl。
4. 获取 HTML 结果并像往常一样使用库进行解析。

或者，如果您总是向同一个页面发出几乎相同的请求，您可能会跳过解析表单的一些步骤，直接跳到制作 POST 请求。

这不会很有趣，但它适用于这种情况。如果您需要处理涉及 JS 的更复杂的案例，或者您只是想以不同的方式处理这个问题，那么（正如您所提到的）库基本上可以驱动浏览器并为您处理这些事情。首先想到的两个是：

• Selenium WebDriver
• PhantomJS

还有其他选项，但我不知道有什么可以快速轻松地集成到现有 PHP 脚本中。

Answer 2

我最终将 Python 与 Selenium Firefox 网络驱动程序一起使用。由于我使用的是真正的浏览器，所以我可以做任何 FF 可以做的事情。