如何使用 Perl 脚本从 Web URL 下载 .zip 文件？

Question

我想通过点击“以 csv 格式下载文件”下载一个 .zip 文件，该文件位于 URL http://www.nseindia.com/content/equities/cmbhav.htm。

如果右键单击“以 csv 格式下载文件”并选择复制链接位置，则 URL 模式将类似于 http://www.nseindia.com/content/historical/EQUITIES/2012/MAR/cm23MAR2012bhav.csv.zip.

我想编写一个从 URL 下载 .zip 文件的 Perl 脚本。

下面的代码不工作

#!/usr/bin/perl
use warnings;
use strict;
use LWP::Simple;

my $url = 'http://www.nseindia.com/content/historical/EQUITIES/2012/MAR' ;
my $file = 'cm23MAR2012bhav.csv.zip'    ;
getstore($url, $file) ;

Answer 1

如果您需要更改用户代理，但仍想使用LWP::Simple，可以使用$ua 导出：

use File::Basename;
use LWP::Simple qw($ua getstore);
use URI;

my $url = URI->new( 'http://www.nseindia.com/content/historical/EQUITIES/2012/MAR/cm23MAR2012bhav.csv.zip' );

$ua->default_headers( HTTP::Headers->new(
    Accept => '*/*', 
    )
    );

$ua->agent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/534.54.16 (KHTML, like Gecko) Version/5.1.4 Safari/534.54.16");

my $rc = getstore( $url, basename( $url->path ) );
say "Result is $rc";

事实证明，用户代理字符串和 Accept 标头的组合可以做到这一点。通常，这些问题归结为使您的 LWP 请求看起来就像您的浏览器将发送的请求一样。我使用HTTPScoop 来观察浏览器交易，但是有很多程序可以为你做同样的事情。

不过，如果事情变得如此复杂，我赞成Mojo::UserAgent。使用交易更容易一些：

use File::Basename;
use Mojo::UserAgent;
use URI;

my $url = URI->new( 'http://www.nseindia.com/content/historical/EQUITIES/2012/MAR/cm23MAR2012bhav.csv.zip' );
my $file = basename( $url->path );
printf "URL: %s\nFile: %s\n", $url, $file;

my $response = Mojo::UserAgent->new->name(
    '"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/534.54.16 (KHTML, like Gecko) Version/5.1.4 Safari/534.54.16"'
    )->get( $url->as_string, { Accept => '*/*' } )->res;

open my $fh, '>', $file or die "Could not open [$file]: $!";
print $fh $response->body;
printf "Status: %d\n", $response->code;

Answer 2

如果你使用

       print getstore($url, $file);

你看到你得到 403 作为错误（禁止）。

添加

用 curl 做实验，他们似乎对用户代理进行了检查，所以你不能使用 LWP::Simple，因为你必须像真正的浏览器一样设置用户代理。

添加2

以下作品

#! /usr/bin/perl -w

use warnings;
use strict;

use LWP::UserAgent;
my $url = 'http://www.nseindia.com/content/historical/EQUITIES/2012/MAR/cm23MAR2012bhav.csv.zip';
#my $file = 'cm23MAR2012bhav.csv.zip';
#my $url = 'http://localhost:11000';

my $ua = LWP::UserAgent->new;
$ua->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 (FM Scene 4.6.1)");
my $req = HTTP::Request->new(GET => $url);
$req->header(Accept => "*/*");
# $req->remove_header('Connection');  # does not work
# $req->remove_header('TE');          # does not work
my $res = $ua->request($req);
if ($res->is_success)
{
    print $res->content;
}
else
{
    print $res->status_line, "\n";
}

标题 TE 和 Connection 不会被 remove_header 行删除，因为它们是在协议级别插入的，因此删除它们是一个不同的过程（我不知道）。

无论如何，这足以让它发挥作用。

（edit我在UserAgent字符串中有一个最后的空格，导致LWP添加libwww-perl，这就是服务器给出403的原因）

重要提示

您必须重定向输出，或更改一些代码以将内容保存到文件中。另请注意，要下载 zip，您必须为其提供正确的 URL，而不是包含 zip 链接的页面的 URL。