【发布时间】：2009-12-05 21:39:02
【问题描述】：
我在 codeplex 上发布了一个源代码，令我惊讶的是，它在 13 小时内就出现在了 google 上。此外，当我在 codeplex 上对我的帐户进行一些更改时，这些更改会在几分钟内反映在谷歌上。那是怎么发生的 ？谷歌是否对 Codeplex、Stackoverflow 等网站付出了额外的重视，以使其结果快速出现在搜索结果中？如果不是这么快，我可以采取一些特殊的步骤来让谷歌更快地抓取我的网站。
【问题讨论】：
【发布时间】：2009-12-05 21:39:02
【问题描述】：
Google 更喜欢某些网站而不是其他网站。涉及到很多神奇的规则，在 CodePlex 和 Stackoverflow 的情况下，我们甚至可以假设它们已经被手动放入了一些白名单。然后，Google 订阅这些网站的 RSS 提要，并在有新的 RSS 帖子时抓取它们。
示例：我博客上的帖子会在几分钟内被收录到索引中，但如果我几周不发帖，Google 就会每周左右过去。
【讨论】：
【讨论】：
可能（并且您必须是内部人员才能知道...）如果他们在每次抓取中发现足够的变化，他们会缩小抓取之间的窗口，直到 - 每隔几分钟就会抓取一次热门博客/新闻等网站。
【讨论】：
-
也许你是对的。知道某些网站被抓取得如此之快真是太神奇了！
-
他们通过在网络中寻找员工来赚钱。他们必须注意快速更新的网站……否则其他搜索引擎会接管。
-
@Bootcamp：想想谷歌，它的架构和速度是如此令人难以置信，你不可能想象他们软件中的所有工作。
对于像 stackoverflow.com 这样的热门网站，索引出现的频率比平时要高，您可以通过搜索刚刚提出的问题来注意到这一点。
【讨论】：
鲜为人知，但Google relies on pigeons to rank its pages.有些页面的玉米特别好吃，比其他页面更容易吸引鸽子的注意力。
【讨论】：
实际上...热门网站有某些他们共享的提要会被谷歌搜索。该网站会更新这些提要，而谷歌会在提要更改时更新其索引。对于排名良好的其他网站，搜索引擎会更频繁地爬网，前提是有变化。确实它不是公开的知识，即使对于热门网站，也无法保证新发布的数据何时出现在索引中。
【讨论】：
Real time search 是搜索引擎大战中最新的流行语和战场之一。 Google 宣布的/Bing's twitter 集成就是这种对超新鲜内容的新关注的好例子。
合并新内容是一项真正的技术挑战，priority 对于像 Google 这样的公司来说，因为必须抓取文档，将它们合并到索引中（分布在成百上千台机器上），然后以某种方式确定是否新内容与给定查询相关。请记住，由于我们正在索引全新的文档和推文，因此这些内容不会有很多入站链接，这是提升 PageRank 的典型因素。
让 Google/Yahoo/Bing 更频繁地抓取您的网站的最佳方法是让网站的内容经常更新，从而获得大量流量。 （所有这些公司都知道网站的受欢迎程度，并将投入更多资源索引网站，如 stackoverflow、nytimes 和 amazon）
您可以做的另一件事是确保您的 robots.txt 不会阻止蜘蛛尽可能多地抓取您的网站，并确保向 google/bing-hoo 提交 sitemap 以便他们将列出您的网址。但要小心你的愿望：https://blog.stackoverflow.com/2009/06/the-perfect-web-spider-storm/
【讨论】：
-
但实时也会产生更多的噪音和信息过载。
好吧，甚至我自己的博客也是实时出现的（虽然它的 pagerank 是 3），所以我认为这没什么大不了的 :)
例如，我刚刚发布了这个，它至少在 37 分钟前出现在 Google 中（也许它是实时的，因为我之前没有检查过） http://www.google.com/search?q=rebol+cgi+hosting
【讨论】：