搜索引擎爬行问题答案

【问题标题】：Search Engines Crawling Question搜索引擎爬行问题
【发布时间】：2010-02-25 21:20:25
【问题描述】：

我网站的主页是/home.php 此页面具有锚标记的分页，这些锚标记链接到同一页面的许多其他查询，例如

等等……

我的问题是，当我在站点地图中包含 home.php 页面时，爬虫是否会抓取 home.php 链接到的任何页面（例如 /home.php?star=4）？还是我必须在站点地图上包含每个页面？

【问题讨论】：

【解决方案1】：

爬虫通常会跟踪他们在您的站点地图中找到的页面中的所有正常链接，但他们这样做的频率可能不符合您的目的 - 完整的站点地图可为您提供更多控制权（例如，避免浪费带宽经常重新抓取未更改的页面，依此类推），因此更可取。毕竟，自动生成站点地图应该不难。

【讨论】：

感谢您的快速回复，我目前使用 DW 扩展来生成站点地图，所以现在我有了站点地图的结构，我将使用 PHP XML 类制作脚本来修改现有的站点地图包括我的动态页面的不同查询。谢谢