【问题标题】:Google bot problem谷歌机器人问题
【发布时间】:2025-12-01 01:05:02
【问题描述】:

我有两个内容不同的网站,一个用母语编写,另一个用英语为国际用户编写。 15% 的国际用户设法进入本地网站,反之亦然。

我使用 .NET IP 定位服务来定位用户来自哪里,然后将他重定向到正确的网站,以防他出错。问题是来自世界各地的谷歌机器人可以是任何国家并且拥有不同的IP......所以我如何区分这些用户和真实用户,以便我可以将机器人保留在我的网站上,同时将错误类型的用户重定向到正确类型的网站?

【问题讨论】:

  • IMO 没有什么比访问一个站点并被重定向到与我要求的不同但相关的站点版本更令人沮丧的了。尤其是当大多数这样做的网站不允许我选择退出他们的“帮助”并使用我打算登陆的版本时。
  • 不同语言,同一个站点。它减轻了看不到国家标志或带有语言选择的下拉菜单的普通用户的负担。虽然你可以尽可能多地责怪我,但你可以学习一点可用性和一些测试,普通 PC 用户除了屏幕上的大东西什么都看不到
  • 只有当网站不允许我撤消他们的“帮助”时我才会遇到问题;)

标签: asp.net user-agent googlebot


【解决方案1】:

从重定向中排除机器人:

http://www.google.com/support/webmasters/bin/answer.py?answer=80553

你也可以通过识别他们的 User-Agent 来忽略它们。

【讨论】:

  • 其他搜索引擎也一样吗?也许有一个我应该列入白名单的 User_Agents 库?
  • 有一个 XML 文件在 user-agents.org/allagents.xml 列出了它们,但我不确定这个列表有多好。