使用 Perl LWP 进行 HTML 解析会给出不正确的结果

Question

我正在尝试抓取 http://www.imdb.com/find?q=Yek+mard%2C+yek+khers&s=all 的 HTML。结果集包含一个单一的结果，在类result_text 中。所以我输入链接，获取该链接中的文本，在这种情况下，如 Firebug 所示，是A Man, a Bear。但奇怪的是，下面的代码打印出Yek mard, yek khers。谁能帮助我如何获取我在浏览器中看到的文本？

$name = "Yek mard, yek khers";
$uri = URI->new("http://www.imdb.com/find?q=".uri_escape($name)."&s=all");
my $response = $ua->get( $uri );

my $root = HTML::TreeBuilder->new_from_content($response->decoded_content);
@results = $root->find_by_attribute("class","result_text");
$link = $results[0]->find_by_tag_name("a");
say $link->as_HTML();
# This should print <a href="/title/tt0122857/?ref_=fn_al_tt_1">A Man, a Bear</a>
# but prints <a href="/title/tt0122857/?ref_=fn_al_tt_1">Yek mard, yek khers</a>

Answer 1

更新

我很抱歉。进一步查看后，我发现 IMDb 使用 HTTP 请求的 Accept-Language 标头来确定如何呈现页面。默认情况下，LWP 根本不发送此标头，但 Firefox 会发送，这就是我上面的解决方案正常工作的原因。

因此，仅使用 LWP 的解决方案是可能的。定制请求必须首先使用HTTP::Request 对象构建，然后使用request 方法传递给LWP::UserAgent 对象。

此代码演示。

use strict;
use warnings;

use feature 'say';

use LWP;
use HTML::TreeBuilder::XPath;

my $url = 'http://www.imdb.com/find?q=Yek+mard%2C+yek+khers&s=all';

my $ua = LWP::UserAgent->new;
my $req = HTTP::Request->new(GET => $url, ['Accept-Language' => 'en-gb,en']);
my $resp = $ua->request($req);

my $tree = HTML::TreeBuilder::XPath->new_from_content($resp->decoded_content);
my @results = $tree->findnodes_as_strings('//td[@class="result_text"]/a/text()');

say $results[0];

输出和以前一样。

---

原答案

问题是您在浏览器中看到的内容是在页面加载后由 JavaScript 代码生成的。 LWP 和 HTML::TreeBuilder 的简单组合无法处理站点返回的原始 HTML 之外的任何内容。

为此推荐的常用解决方案是使用WWW::Mechanize::Firefox 模块，该模块使用实时Firefox 进程来获取HTML 和JavaScript 并呈现页面。请注意，它需要在您的计算机上安装 Firefox 浏览器，并且必须安装并运行 MozRepl Firefox 插件。

此程序显示返回您期望的结果的工作代码。请注意，我还使用了HTML::TreeBuilder::XPath 而不是裸露的HTML::TreeBuilder，这样可以更简单地表达您感兴趣的 HTML 部分。

use strict;
use warnings;

use feature 'say';

use WWW::Mechanize::Firefox;
use HTML::TreeBuilder::XPath;

my $url = 'http://www.imdb.com/find?q=Yek+mard%2C+yek+khers&s=all';

my $mech = WWW::Mechanize::Firefox->new;
$mech->get($url);

my $tree = HTML::TreeBuilder::XPath->new_from_content($mech->response->content);
my @results = $tree->findnodes_as_strings('//td[@class="result_text"]/a/text()');

say $results[0];

输出

A Man, a Bear