wget蜘蛛输出答案

【问题标题】：Wget spider outputwget蜘蛛输出
【发布时间】：2013-06-15 10:58:59
【问题描述】：

Wget 问题：

你能帮我理解这意味着什么吗？只需拉取网址即可构建站点地图：

wget --spider --recursive --no-verbose --no-parent -t 3 --output-file=wgetlog.txt $URL

结果：

2013-06-17 18:56:54 URL:http:/domain/file/19[149408/149408] -> “域/文件/19.1” [1]

这是否意味着存在重定向？另外，括号里的数字是什么意思？为什么最后有第二个带有.1 的网址？ [1] 是什么意思？

我一直在搜索文档，但没有找到解释 wget 输出的页面。有人可以提供上述任何好的链接或解释吗？

【问题讨论】：

标签： wget

【解决方案1】：

我相信here 已由Salman A 回答了这个问题。

wget --spider --recursive --no-verbose --output-file=wgetlog.txt http://somewebsite.com
sed -n "s@.+ URL:([^ ]+) .+@\1@p" wgetlog.txt | sed "s@&@\&@" > sedlog.txt

【讨论】：