为什么 Googlebot 不将它抓取的页面编入索引？答案

【问题标题】：Why doesn't Googlebot index pages it crawls?为什么 Googlebot 不将它抓取的页面编入索引？
【发布时间】：2010-12-30 00:11:24
【问题描述】：

三个月前，我发布了我的小型个人网站（约 10 页），将 URL 提交给 Google，几天后 Googlebot 出现了。在过去的几周里，Googlebot 大约每周访问我的网站两次，并且可能每隔一页抓取一次。

自从 Googlebot 首次抓取我的网站以来，每当我运行搜索 site:example.com 时，Google 只会返回我的主页。（有趣的是，必应也是如此，所以问题可能不是谷歌特有的。）

我使用 CodeIgniter 构建网站主要是为了让自己熟悉它。这真的很简单，只有几页关于我和我的项目的信息。我没有使用任何黑帽 SEO 技术、JavaScript 或类似的东西。

Googlebot 会抓取我的网页但不将其编入索引的可能原因有哪些？

编辑：我确实有一个网站管理员工具帐户。没有抓取错误，列出了内部链接，但列出的关键字仅来自我的主页。

【问题讨论】：

【解决方案1】：

【讨论】：

+1 用于提及网站管理员工具。这是判断 Google 是否在为网站编制索引时遇到问题的最可靠方法。
Googlebot 可以毫无问题地找到这些页面。根据我的日志，它确实访问了网站上的其他页面——出于某种原因，它只是没有将它们编入索引。 (1) AFAIK 如果指向其他页面的链接很容易被发现，这不应该是必要的，就像我的情况一样，但我想提交站点地图不会受到伤害。 (2) 个别页面非常不同。 (3) 我在所有页面上都有相同的导航菜单。
@MiseryIndex 我认为 googleboot 索引 +9 个页面没有任何问题，但它“认为”这些页面与主页相比没有独特的内容。所以你已经解决了：为什么我需要 10 页而不是 1 页？如果您将在 google 中使用高级搜索选项，您会看到“显示重复结果” - 尝试展开此内容。
页面完全不同。显示重复的结果...您的意思是 In order to show you the most relevant results, we have omitted some entries very similar to the 1 already displayed. If you like, you can repeat the search with the omitted results included. 在此页面上点赞 google.com/#hl=en&q=site%3Aexample.com 吗？
如果是这样，我搜索我的网站时没有这样的链接。