如何下载安全网页

Question

我希望以编程方式下载需要登录才能查看的网页。有什么理智的方法可以做到这一点吗？通过查看 HTTP 标头等，我可以看到用户名/密码作为 POST 数据传递，但请求附加此信息的页面还不够好。我认为 cookie 也参与其中，看起来它们包含某种加密的授权数据。

有什么方法可以伪造吗？语言在这里不是很重要，但是像 Perl 这样可以相对容易地在 Linux 上运行的东西会很好。或者也许可以编写一个命令行浏览器？

Answer 1

是的，您可以通过 curl 命令行工具或 CURL 库执行此操作。您需要弄清楚 cookie 中应该包含什么，然后使用 curl 的 -b 选项或等效的 CURL API 传递它们。

您还可以通过 CURL 执行 HTTP 基本身份验证。

如果页面真的很复杂，您必须事先进行 HTML 解析甚至 JS 解释来提取 cookie 数据。这仍然可行，但不能单独使用 CURL。

一般来说，网络浏览器可以做的任何事情都可以编写脚本。图灵完备性等等。像 BlueSocket 这样的“无法编写脚本”的强制门户网站卖的是一堆废话；它们基本上只是被混淆的网页。他们会减慢你的速度，但永远不能阻止你——他们必须给你钥匙才能工作！

Answer 2

Php 的CURL 会做到这一点。如果此解决方案适合您，还请检查 here。