我正在对网站进行本地化。我打算将cookie设置为首选语言，然后显示相应的语言。而且，如果未设置 cookie，它将使用用户浏览器设置的首选语言标题 - 如果未设置标题，则默认为英语。
那么 - Google 的机器人是如何工作的？它会一次抓取所有网站，每个网站在标题中设置不同的语言，以便它可以获取网站的每个版本，还是甚至设置标题？如果不是，那么我是否必须重组所有这些以使用基于 URL 的语言选择器 (www.domain.com/en/page.html www.domain.com/fr/page.html)。
【问题讨论】：
标签： localization seo googlebot
据我所知，Google 不使用 cookie。直到最近它还没有使用 javascripts，但他们现在已经开始这样做了，虽然我不能说它工作得有多好（可能不太好）。除了 Flash（它也只能从中获取文本和链接）之外，它所消耗的唯一内容是文本和超链接。
我的感觉是用的如下：
1) TLD/子域（从子域确定语言的正则表达式）
2) “内容语言”的 HTTP 标头
3) 语言检查（他们确实有翻译，所以必须能够做到这一点）
4) 来自其他 TLD 的入站链接
5) 网站管理员工具 - 可以在其中设置位置
可能最好的方法是使用所有这些东西的合并，并使用某种评分系统来确定哪些文档（页面/域）是基于语言的，但在 Google 让人们使用 webmastertools 之前，它并没有真正奏效。
要记住的一点是，网络上的大部分流量都流向了少数几个网站，因此如果您可以手动屏蔽这些流量，也许会更轻松。
干杯柯
【讨论】：
简短回答：否。引擎不喜欢 cookie。用 HTML 喂它们（并确保你的所有语言都被 HTML 超链接）
【讨论】：