当 url 导致临时重定向 (http 302) 时，什么会被索引？

Question

我正在努力使我们（非常基于 AJAX）的网站对搜索引擎更加友好。

我们有一个系统，其中某些 url 在设置会话变量以更改主页的行为后重定向到主页。这是使用 Controller.Redirect 方法创建 ActionResult 来实现的。

例如，主页是：

http://radiotuna.com

但如果我们想链接到广播电台，我们使用：

http://radiotuna.com/s/66258

重定向到主页。但是在这种情况下，由于重定向之前设置的 Session 变量，显示的内容会有所不同。

当出现此重定向时，网络爬虫会将哪些内容编入索引？

这种情况下会保留Session吗？

据我所知，有几种可能的结果：

1. 爬虫跟随重定向，会话信息被保留，爬取的数据与http://radiotuna.com/s/66258相关联（期望的结果）
2. 爬虫不遵循重定向。如果我们可以发送一个带有 302 的页面，那就没问题了。这是否允许？
3. 爬虫跟随重定向，会话信息被保留，爬取的数据与http://radiotuna.com/相关联（错误）
4. 爬虫跟随重定向，但会话信息被丢弃，因此主（未修改页面）与http://radiotuna.com/s/66258（错误）相关联

也许 302 是发回的错误状态。也许在这种情况下使用重定向的想法是有缺陷的。谁能赐教？

编辑：我们为什么要这样做？理想情况下，我们希望地址栏中只显示一个 URL，因此我们希望始终重定向到主页。当从重定向进入时，这将导致不同的标题和元描述，我们希望爬虫获取并与预重定向 URL 相关联。

EDIT2：在这种情况下，检测我们是否被爬虫攻击并在不重定向的情况下传递页面会更好吗？如何检测爬虫客户端？

Answer 1

您真的应该考虑创建一个 xml 站点地图并将其提交给主要的搜索引擎。您可以创建像 radiotuna.com/kmtt （我的本地电台）这样的 url，这样对于在结果中看到 url 的人来说，这将意味着什么。很容易在您的控制器中处理。

至于什么被索引，搜索引擎是挑剔的。如果您发送“永久移动”，那么大多数引擎会记下他们找到的 URL，并在内部使用您的新地址对其进行更新。但为什么要依赖他们？最好自己动手控制。

Answer 2

对于 Google，他们将 Url 与特定标题和元描述相关联。我的猜测是结果 3 和结果 4 会发生。两者都可以，因为爬虫可能会尝试两种方式。

如果您可以保留在地址栏中输入的 Url，请执行此操作。对于爬虫和真人。用户通常不喜欢混淆重定向。此外，您还允许用户轻松地将 URL 发布到他们最喜欢的广播电台，这将有助于 PageRank。

您是否尝试过设置 Google 网站管理员工具或在 Google Analytics（分析）中查看您的数据？内部链接部分将让您深入了解您的网站是如何被抓取的。诊断部分还会找到重复的标题和元标记等内容。

Answer 3

感谢大家的回答。这里最大的疏忽是 Session 是使用 sessionid cookie 保存的，除非我弄错了，否则当爬虫访问时将无法使用该 cookie。回到绘图板。