如何获取网站的所有网址？ [关闭]答案

【问题标题】：How can I get all urls of the site? [closed]如何获取网站的所有网址？ [关闭]
【发布时间】：2013-12-04 04:57:22
【问题描述】：

如何通过任何编程语言或软件获取网站的所有网址？

例如，我有网站http://getmoneygettraffic.com/，我知道还有一些其他页面，例如http://getmoneygettraffic.com/48h 如何找到其他页面的链接？如果我只知道域 - http://getmoneygettraffic.com/

更新：（这是我的网站）我可以在不使用 rake(ROR) 或转到 ftp 或 cPanel 的情况下获取该网站的所有 url 吗？

我已经尝试过这个 stackoverflow.com/questions/857653/... 和这个 stackoverflow.com/questions/131989/... 这个也是 stackoverflow.com/questions/16619687/

另外，我试过 -> https://code.google.com/p/knock/ ，很酷的东西，但如果我没记错的话，它只会寻找子域。我需要网址的右侧部分，而不是左侧。

【问题讨论】：

【解决方案1】：

一般的答案是，如果网站使用你没有的规则的 URL 重写，你就不能这样做。如果网站是您的并且不使用复杂的重写，您可以尝试浏览根目录以检索“.php”文件。

【讨论】：

【解决方案2】：

因为你已经用 ruby on rails 标记了这个，如果你拥有这个网站/可以访问服务器，你可以在你的应用程序的根目录中执行 rake routes 并获取可用的完整路由列表。

否则，除非您有权访问应用程序代码，否则我不太确定您能否获得详尽的列表

【讨论】：

【解决方案3】：

您可以使用站点地图选项来获取所有网址

【讨论】：