【发布时间】：2011-10-14 11:56:34
【问题描述】：
我想生成我网站中链接到外部网站的所有网页的列表（包含 500 页及更多）。
在我开始尝试编写这个代码之前，我想知道是否存在现成的东西，这样我就不会白费力气。
如果您知道或使用过任何，请分享。
谢谢
【问题讨论】：
标签： html web-crawler
【发布时间】：2011-10-14 11:56:34
【问题描述】：
对于链接检查，我使用Xenu's Link Sleuth。
【讨论】：
-
如果我没记错的话，这不会从给定的链接递归到每个页面，因此我不会知道每个外部链接而不必手动输入我想要的网页的每个链接检查。
-
它递归它在给定起始页面上找到的所有链接以及同一域上的所有页面，包括传出的外部链接。试一试；它非常快速且免费。
-
很好的推荐，非常有用的工具，谢谢！
W3C link checker 将为您提供所有链接的列表，并告诉您哪些链接有效。废弃输出以仅显示外部链接应该很简单。
【讨论】：
-
我注意到了一个小问题，它没有告诉你链接的位置。仅有链接是不够的，因为我不知道我必须在哪里进行更改。
您是否考虑过使用网站嗅探器？有很多免费工具可以浏览您的网站并列出您的网页。
希望这会有所帮助:)
【讨论】：
-
你知道一个给我所有外部链接的特定链接吗？
-
我认为您会非常喜欢：google.com/webmasters/tools 添加网站后，进入仪表板，然后进入“您在网络上的网站”。它会告诉您内部和外部链接。
SEOMOZ Pro 帐户 - 注册 30 天免费试用，我们那里最好的网站爬虫 http://www.seomoz.org/freetrial
【讨论】：
最终，最简单的方法是在数据库中使用 SQL 查询，因此请确保在遇到类似问题时通过 SQL 检查它是否可行，然后再尝试查找外部程序。
感谢大家的建议。
【讨论】：