SEO：搜索引擎机器人如何搜索带有查询字符串的动态 URL？

Question

我正在使用 SQL Server 2008 数据库在 ASP.NET 中开发一个电子商务网站。

我的大部分页面都是数据库驱动的，所有内容都是从 SQL Server 收集的。

每个产品页面都是根据来自数据库的数据动态创建的，因此每个产品的页面 URL 都有一个唯一的查询字符串，其中包含一个“product_id”变量。

*示例：http://www.myecommence.com/products.aspx?product_id=1*

我想改进我的搜索引擎优化。

1. 处理少量产品可能没问题，但如果我 有1000多个产品，怎么能爬到每一个产品？

2. 谷歌蜘蛛/机器人如何知道带有 767的假设数存在吗？

3. 我一直在谷歌上搜索，但我仍然无法理解页面是如何 在站点或外部站点中绝对没有参考可以 爬行？如果可能的话，蜘蛛应该知道如何阅读 网站的数据库表，但我猜不是这样。

4. 此时由于大部分页面和链接都是动态的 它们是否可以被索引，同样的事情也适用于“用户详细信息”页面 使用“user id=n”通过查询字符串访问？

可能我的问题已经讨论过了，但我仍然没有明确的一些观点。

Answer 1

我建议使用 Mod Rewrite 规则使您的 URL 搜索引擎友好。

这对 Google 来说非常重要。

As 是一个很好的类别结构。

例如：

domain.com/t-shirts/girls/star-wars-t-shirt/

比

好很多

domain.com/products.aspx?product_id=1*

这里有一些信息：

http://msdn.microsoft.com/en-us/library/ms972974.aspx http://www.wrox.com/WileyCDA/Section/id-305997.html

回答您的问题：

处理少量产品可以，但如果我有超过 1000 种产品怎么办，如何爬取所有产品？

如果您有良好的站点地图/菜单结构等，Google 很可能会抓取您的所有页面。

谷歌蜘蛛/机器人如何知道存在假设编号为 767 的 product_id？

通过抓取您的网站、通过您的站点地图、通过网站上的菜单系统等。但请始终记住：Google 不是通灵者 - 除非您告诉如何/链接到它，否则它无法找到页面。

我一直在谷歌上搜索，仍然无法理解如何抓取网站或外部网站中完全没有引用的页面？如果可能的话，蜘蛛应该知道如何读取网站的数据库表，但我想情况并非如此。

如果你没有参考 - 你做错了什么。改善您的网站结构。

此时，由于大多数页面和链接都是动态的，它们如何被索引，同样的事情也适用于通过使用“用户 id=n”的查询字符串访问的“用户详细信息”页面？

动态 URL 本身没有问题 - 但我再次建议通过 Mod Rewrite 或类似方法实现搜索引擎友好的 URL - 请参阅上述资源。

祝你好运， 科林

Answer 2

现代系统通过允许重新映射到基于 id 的 url 模式的自定义或自动 URL 来优化 SEO。这种 URL 样式允许完全自定义的词对词产品标题或关键字/描述，这比 URL 中的随机 ID 号更重要。

为确保所有单独的页面都被编入索引，您通常从提交或提供站点地图 xml 中获益最多。来自谷歌的更多信息关于在这里生成一个：

https://code.google.com/p/googlesitemapgenerator/

希望这能让你朝着正确的方向前进！