【发布时间】:2011-02-12 07:16:41
【问题描述】:
我有一个网站,其中某些 url 指向具有永久数据的页面,而其他一些 url 则指向动态网页。谷歌会定期为这两个索引。当用户找到其中一个动态内容 url 时,页面上的数据已经发生了变化,用户找不到他正在寻找的内容。此外,动态 url 页面包含指向永久 url 的链接(我希望 Google 或任何爬虫索引)。无法使 Google 爬虫控件(网站管理员工具)从页面中读取网址,但不能将其编入索引。解决方案? 爬取策略 系统架构。
【问题讨论】:
标签: architecture indexing hyperlink web-crawler