cygwin curl 或 wget 查找 404

【问题标题】：cygwin curl or wget to find 404'scygwin curl 或 wget 查找 404
【发布时间】：2014-05-24 10:42:27
【问题描述】：

我正在寻找一个包含一堆引用 URL 的文本文档，以查看其中是否有 404'ing。如果有 404，我想获取试图放入文本文档的 URL。谁能帮我做这个？

我只寻找 404 的 URL，我不希望 wget --spider 等提供的所有其他输出。

【问题讨论】：

【解决方案1】：

脚本

#!/bin/sh
while read
do
  echo "$REPLY"
  if wget --spider -q "$REPLY"
  then
    echo "200 OK"
  else
    echo "404 Not Found"
    echo "$REPLY" >> p404s.txt
  fi
  echo
done < test-urls.txt

脚本输出

http://stackoverflow.com
200 OK

http://stackoverflow.com/1
404 Not Found

http://superuser.com
200 OK

【讨论】：