谷歌在同一页面上抓取数千个链接

Question

我创建了一个页面，上面有数千个链接，供谷歌抓取它，并将通过单个页面上的链接访问的数千个页面中的所有数据编入索引。

在设置了 4 天后，我正在查看谷歌搜索结果。

Google 似乎只抓取了数千个链接中的几个，因为搜索结果中只出现了几个。

我什至在 google 上搜索时放置了 Site: 过滤器。

有没有人知道为什么会发生这种情况。 .为什么这几千页没有被谷歌索引，而只是随机挑选的几页？？

Answer 1

你可能想看看这个谷歌页面： http://www.google.com/support/webmasters/bin/answer.py?answer=34439

google爬虫的本质是，如果你的网站很重要，它会更多地抓取你的网站。

而重要的意义，是根据链接到和从您的网站链接的超链接的数量。你可以想象一个像雅虎这样的网站会有很高的排名。请查看PageRank算法。

您可能还想查看来自 google 的 webmaster guide，以帮助您的网站被更多人抓取。