如何检测网站的所有网址？

Question

我想知道如何检测指定网站的所有url，比如说，我知道https://stackoverflow.com/的网站，我怎么知道它有一些像https://stackoverflow.com/questions和https://stackoverflow.com/tags这样的url，有没有办法还是知道结果的工具？

Answer 1

有一些可能性：

1. 如果您不想编写代码，您可以使用 Xenu 或 Webspider 之类的工具来扫描或保存网站。

   李>

2. 如果你想将它用作你自己工具的一部分，你可以用 PHP 编写它： 外部服务器上的目录监听开启：

   $dir = "stackoverflow.com/"; foreach(scandir($dir) as $file){ print '<a href="'.$dir.$file.'">'.$file.'</a><br>'; }

3. 目录监听是： 然后您需要根据php_get_contents 打开网站并根据preg_match 过滤链接。