【发布时间】:2013-02-05 17:57:45
【问题描述】:
所以我有一个论坛 - 链接是以下 URL 格式 课程页面 - http://www.example.com/course/course-feed/course_id/1
现在这个页面有一堆问题,每个问题都是一个链接,点击后会转到问题详细页面,显示该问题的所有答案 -
详细问题页面url的示例格式 问题页面 - http://www.example.com/course/question-feed/course_question_id/636
所以如果我有 5000 个问题,我就有 5000 个带有答案的问题页。
现在我的问题是 COURSE PAGE,显然没有显示所有 5000 个问题。而是显示 50 个问题链接,并在底部有一个“更多”按钮。
当用户点击“更多”时,接下来的 50 个问题将通过 JQUERY 调用获取并显示在下方。现在当这个操作发生时——URL 显然没有改变。
当我最近查看有多少页面在 Google 中被编入索引时 - 它只有前 50 个问题页面,因为编入索引的 COURSE PAGE 仅显示 50 个问题链接。
我的问题是如何让爬虫通过所有“更多”链接并索引所有 5000 个页面。
【问题讨论】:
标签: jquery seo web-crawler google-crawlers