查找网站的页数答案

【问题标题】：Finding number of pages of a website查找网站的页数
【发布时间】：2012-01-27 19:12:45
【问题描述】：

我想查找网站的页数。通常我寻找的是sitemap，但我刚刚遇到一个没有站点地图的网站，所以我不知道如何找到它的总页数。我尝试Google URL 但这并没有太大帮助。有没有其他方法可以找到网站的页面？

提前致谢。

【问题讨论】：

最简单的方法是为自己获取一些链接检查软件（我在 Mac 上使用 Integrity），将其设置为抓取您有兴趣计数的页面类型并让它运行。抓取网站后，您将获得总页数
如果您可以访问网站的源代码，最准确的方法是，不幸的是，即使您使用链接爬虫，您也会错过所有未链接的页面
最坏的情况是网站被搜索引擎禁止。

标签： html web

【解决方案1】：

向 Google 询问“site:yourdomain.com” 这将为您提供所有索引页面。

或使用免费工具“Xenu”。它爬取整个站点。但它不会找到没有指向它们的内部链接的站点。您还可以使用它导出站点地图。

【讨论】：

【解决方案2】：

我正要提出同样的建议 :) 如果这是您拥有的网站，您也可以将其添加到 Google 网站管理员工具中。它会向您显示有关您网站的许多信息，包括链接数量、页面数、搜索字词等。它非常有用并且是免费的。

【讨论】：

【解决方案3】：

我自己找到了更好的解决方案。您可以转到 Google 高级搜索 并将搜索结果限制为 your domain name。让其他一切都空着。它会为您提供 Google 缓存的所有页面的列表。

【讨论】：

【解决方案4】：

您也可以试试 A1 网站分析器。但是对于所有链接检查器软件，您必须确保正确配置它们以遵守/不遵守（无论您的需要是什么），例如 robots.txt、noindex 和 nofollow 指令。（根据我的经验，常见的混淆来源。）

【讨论】：