在 Web 服务器上获取特定页面/目录的子页面答案

【问题标题】：Getting subpages of certain page/directory on web server在 Web 服务器上获取特定页面/目录的子页面
【发布时间】：2013-04-05 21:53:52
【问题描述】：

我正在寻找一种方法来查看保存在 Web 服务器上的任何目录中的所有子页面。例如，如果我有一个页面 abc.com/directorA/directoryB，我是否有可能以某种方式获取该子页面下的所有页面和目录？还是只有在服务器具有该目录的“索引”站点之类的东西时才可能这样做？

【问题讨论】：

【解决方案1】：

放入你的 httpd.conf

<Directory "/srv/www/htdocs/directorA"> 
    Options +Indexes 
    Order allow,deny 
    Allow from all 
</Directory>

只有当网站管理员决定展示它时才有可能。否则，robot.txt 存在，因为它还解释了机器人可以去哪里。但是这个文件是由站点管理员制作的，所以它只能由管理员显示。

【讨论】：

谢谢，但我的意思是任何网站，即我正在在线浏览的网站，不幸的是;)，没有任何服务器配置访问权限。即，如果我想要所有页面、子目录等的列表，例如 CNN.com，是否有可能，只需浏览访问它，或者以某种方式以编程方式进行，但仍然只能从外部实际服务器？
尝试从域名中捕获robot.txt，大多数时候它们位于网页的根目录中。我想你会说德语..de.selfhtml.org/diverses/robots.htm 但无论如何这意味着你不能访问这个目录。在这个文本文件中只写了哪些目录可以存在以及机器人可以做什么来节省时间和信息。想象一下你可能会在 facebooks 服务器目录中偶然发现 ^^
嗯，robots.txt 只包含不允许，不幸的是“不允许：/*？”。我想这并没有让我更进一步^^

【解决方案2】：

您可以使用 Visio 2013（也可能是旧版本）来实现此目的。

当您选择“新建”文件时，Visio 的“搜索在线模板”可以根据https://www.dropbox.com/s/t4w4emxp3vsptv4/Screenshot%202014-06-21%2019.04.32.png 选择形状“网站地图”和“概念网站”

选择“网站地图”，按照向导并输入您选择的 URL。

【讨论】：