通过命令行从站点下载图像[关闭]答案

【问题标题】：Download Images from a site via a command line [closed]通过命令行从站点下载图像[关闭]
【发布时间】：2019-03-06 16:05:38
【问题描述】：

我在这里关注了这个答案https://stackoverflow.com/a/4602181/4480164

我运行了这个命令

wget -nd -r -P /Users/bheng/Desktop -A jpeg,jpg,bmp,gif,png  -e robots=off https://www.bunlongheng.com

我一直在得到

    --2019-03-06 11:07:19--  https://www.bunlongheng.com/                                                               
Resolving www.bunlongheng.com... 104.27.153.38, 104.27.152.38                                                       
Connecting to www.bunlongheng.com|104.27.153.38|:443... connected.                                                  
HTTP request sent, awaiting response... 500 Internal Server Error                                                   
2019-03-06 11:07:19 ERROR 500: Internal Server Error.

如果我通过浏览器访问，我的网站运行良好。

为什么？ ??????????‍♂️

如何进一步调试？

【问题讨论】：

@jww 正如on-topic页面中所说，“程序员常用的软件工具”，wget当然是其中之一，也是这里的话题。
谢谢@Lynn。我认为您错过了引文的另一部分：“并且是......一个实用的、可回答的问题，是软件开发所独有的”。如何使用 Wget 当然不是软件开发所独有的。如果没有这个标准，Linux 或 Windows 机器上的所有内容都将成为这里的主题。
@jww 但在他粘贴的图片上写着“专业的全栈开发人员”:)

标签： linux image unix curl wget

【解决方案1】：

在没有图像的情况下运行wget https://www.bunlongheng.com/ 时，您会得到相同的行为。运行wget -d https://www.bunlongheng.com/ 2>&1 | less 提供了一些信息：php 文件中存在索引错误：

ErrorException: Undefined offset: 1 (View: /home/forge/bheng/resources/views/layouts/fe/meta.blade.php) (View: /home/forge/bheng/resources/views/layouts/fe/mSkipping 512 bytes of body: [eta.blade.php) in file /home/forge/bheng/storage/framework/views/0b4178e309ed0339363606e08a7e6d3f33347b7f.php on line 76
Stack trace:
  1. ErrorException-&gt;() /home/forge/bheng/storage/framework/views/0b4178e309ed0339363606e08a7e6d3f33347b7f.php:76
  ...
  etc

正如@mhdINbY 所建议的，如果你放置一个现有浏览器的用户代理（我试过我的：-U "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:64.0) Gecko/20100101 Firefox/64.0" 一切正常。

我怀疑您的框架分析了用户代理 HTTP 标头以便相应地格式化输出，并且当它不知道您正在使用的用户代理时有一个错误，这里是 User-Agent: Wget/1.17.1 (linux-gnu)

【讨论】：

【解决方案2】：

尝试在 wget 中指定用户代理

wget -U "User Agent Here"

【讨论】：