未被 Google 索引的页面答案

【问题标题】：pages not indexed by Google未被 Google 索引的页面
【发布时间】：2011-04-04 11:09:16
【问题描述】：

据我所知，我的公司在我们的网站上运行 Google 搜索，为所有页面编制索引。我开发了一个文档系统，它也被 Google 索引。系统中的页面是动态生成的，所以我有 www.mysite.com/doc.aspx?id=234、www.mysite.com/doc.aspx?id=236 等被索引。问题是某些随机页面（例如，www.mysite.com/doc.aspx?id=235）由于某种未知原因未编入索引。我在哪里可以解决这个问题？有什么想法吗？

【问题讨论】：

标签： .net indexing

【解决方案1】：

这里是关于 google 如何处理您的网站的简短且非常简单的大纲

discovery -> crawling -> indexing -> ranking (->feedback)

发现：是 google 发现您网站页面的过程，这可以通过 html 中的链接或通过 sitemap.xml（以及页面 javascript、rss 或 atom 提要中的 url，......基本上任何 url google 可以找个地方）

抓取： google 获取发现的 url 内容的过程（并将新发现的 url 推送到发现队列中）

索引：将发现和爬取的内容存储到他们的数据库中并使其可搜索

排名：将索引内容与用户查询相匹配，并且 - 如果它足够重要 - 将其作为可见的 SERP 列表返回给用户。

反馈根据点击/非点击行为和从其他来源收集的数据（假定的 ISDN 数据和谷歌工具栏、Chrome 浏览器报告……），谷歌收集关于其 serp 上的用户行为的反馈（以及点击之后）。

每一步之间都有很多质量指标（最后一步是只是一个质量指标集合步骤）。
每一步都报告给之前的步骤。

因此，即使您将所有网址都传达给谷歌（即通过 sitemap.xml），谷歌也不一定会抓取您的所有网址或索引或将它们列为可见。

好的，那么让更多页面进入索引（他们至少有机会为某事排名）的容易实现的结果是什么？

每页只传递一个 URL（使用 http 301 重定向、规范标签并清理网络上的所有链接）
让您的网站更快（巨大的影响）
在 KB 方面使其更轻（很好的影响，主要是因为它也更快）
在您的网页上添加更多独特的内容。
防止重复内容
外部（来自其他网站）链接到您的网页（不是总数很重要，而是随着时间的推移稳步增长）

p.s.：作为旁注 - 抓取步骤是可选的。即使是未抓取的 url（即如果它们被 robots.txt 阻止）也可以被编入索引（和排名）——但这并不常见

【讨论】：

非常感谢您的回答。我现在对 Google 的工作原理有了更深入的了解！

【解决方案2】：

Afaik，如果没有从其他页面链接到页面，则页面不会被编入索引。也许没有一个页面链接到非索引页面？

【讨论】：

【解决方案3】：

我同意丹尼尔的观点。您需要一个带有链接列表的页面。或者带有分页列表链接的页面。

但是 dinamyc url 对 SEO 不利，最好的方法是友好的 url。看看 ISAPIRewrite 或 Routing。

希望对你有所帮助。

【讨论】：

【解决方案4】：

并非所有页面都被索引，索引引擎只是认为某些页面是无趣的。在我们的网站上，大约 80% 的页面被编入索引，这对于这类网站来说被认为是非常好的，很少有网站的索引率更高。

正如 Daniel 所说，拥有指向该页面的链接至关重要，否则根本找不到它。然后页面必须有一些对该页面唯一的信息，最好是唯一的标题，否则它可能被归类为重复。

【讨论】：