如何提取 HTML 表单选项值？

Question

Autotrader 的网站有一个名为“searchVehicle”的表单。在该表单中是给定表单输入字段qr/^(radius|make|model|price-to) 的许多HTML 值。这些值如您所料，即下拉列表。如何提取那些<option> 的字符串值？

到目前为止，我有以下 Perl 代码：

#!/usr/bin/perl

use strict;
use warnings;
use utf8;
use WWW::Mechanize;
use Data::Dumper;
use JSON;

binmode STDOUT, ':encoding(UTF-8)';
binmode STDIN, ':encoding(UTF-8)';

my $url = 'https://www.autotrader.co.uk/';

my $mech = WWW::Mechanize -> new( autocheck => 1 );
$mech -> agent_alias( 'Linux Mozilla');

if ($mech -> status( $mech -> get($url)) == 200)
{
    $mech -> form_name('searchVehicles');
    my @inputs = $mech -> find_all_inputs(
                            name_regex    => qr/^(radius|make|model|price-to)$/,
                            type    =>  'option',);
    print Dumper \@inputs;
};

我的结果是这样的：

$VAR1 = [
          bless( {
                   'idx' => 1,
                   'type' => 'option',
                   'current' => 0,
                   'name' => 'radius',
                   'menu' => [
                               {
                                 'name' => 'Select the distance',
                                 'seen' => 1,
                                 'value' => ''
                               }
                             ],
                   'id' => 'radius',
                   'aria-label' => 'Choose a radius',
                   'class' => 'c-form__select'
                 }, 'HTML::Form::ListInput' ),
          bless( {
                 }, 'HTML::Form::ListInput' ),
          bless( {
                 }, 'HTML::Form::ListInput' ),
          bless( {
                 }, 'HTML::Form::ListInput' )
        ];

注意：我已经截断了除第一个之外的所有内容，因为您了解第一个的想法。

• 如何返回 'HTML::Form::ListInput' 值？

Answer 1

WWW::Mechanize::find_all_inputs 的文档说

find_all_inputs() 返回当前表单中所有输入控件的数组，其属性与传入的所有正则表达式匹配。返回的控件全部来自 HTML::Form::Input。详情请见"INPUTS" in HTML::Form。

所以你的@inputs 是HTML::Form 对象的数组。

从给定的链接到其INPUTS 部分，我们可以找到name、value、value_names 等方法。这是您用来提取所需信息的工具。

所提供的实际网站的更新

但是，此站点上的页面的组织方式需要更多。给定的 URL 没有在任何地方列出值（使用 Ctrl-U 查看源代码），将 action 降级为 /car-search。

当我们加载那个页面时，我们可以使用上面的讨论。以下代码旨在展示如何检索信息，请根据可维护性进行调整

use warnings;
use strict;
use feature 'say';

use WWW::Mechanize;

use open ':std', ':encoding(UTF-8)';

#my $url = 'https://www.autotrader.co.uk';
my $url = 'https://www.autotrader.co.uk/car-search';

my $mech = WWW::Mechanize->new( autocheck => 1 );
my $status = $mech->status( $mech->get($url) );
die "Got $status\n" if $status != 200;

$mech->form_number(2);

my @inputs = $mech -> find_all_inputs(
    name_regex => qr/^(radius|make|model|price-to)$/,
    type       =>  'option'
);

foreach my $input (@inputs) {
    say "input: ", $input->name;
    say join ' ', $input->possible_values;
    say "\t$_" for $input->value_names;
}

输出，为方便起见截断了类别

输入：半径 1500 1 5 10 15 20 25 30 35 40 45 50 55 60 70 80 90 100 200 距离（全国） 1英里以内 5英里以内 ... 输入：按价格计算 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 5500 [...] （任何） 500 英镑 (934) 1,000 英镑 (7,683) ...

只有radius 和price-to 是这种形式。其他感兴趣的术语位于源代码下方的不同 HTML 元素中，必须以其他方式检索。