【发布时间】:2009-08-03 05:32:29
【问题描述】:
我想知道我应该如何(或是否)引导 Googlebot 浏览我的博客。我应该只允许访问具有单个条目的页面还是应该抓取主页(也有完整的条目)?我担心的是,当我添加新帖子并且谷歌将旧版本保留一段时间时,主页会发生变化。我还发现将人们引导到主页很烦人 - 您必须先浏览所有帖子才能找到您感兴趣的帖子。那么解决这个问题的正确方法是什么?
【问题讨论】:
我想知道我应该如何(或是否)引导 Googlebot 浏览我的博客。我应该只允许访问具有单个条目的页面还是应该抓取主页(也有完整的条目)?我担心的是,当我添加新帖子并且谷歌将旧版本保留一段时间时,主页会发生变化。我还发现将人们引导到主页很烦人 - 您必须先浏览所有帖子才能找到您感兴趣的帖子。那么解决这个问题的正确方法是什么?
【问题讨论】:
为什么不提交带有适当<changefreq> 标记的sitemap - 如果您将主页设置为“始终”,爬虫将知道您的主页非常不稳定(并且当然,您也可以为其他 URL 提供准确的更改频率)。您还可以为您的主页设置较低的优先级,并为您希望在索引中较高的页面设置较高的优先级。
我不建议让爬虫完全避免将您的主页编入索引,因为这会丢弃您可能从其他网站的链接中获得的任何链接汁——调整更改频率和优先级似乎更可取。
【讨论】:
制作一个sitemap.xml 并定期重新生成它。查看 Google 网站管理员工具。
【讨论】: