是否可以在不使用 301 重定向的情况下告诉网络爬虫两个域指向同一个地方？

Question

我有两个指向同一个服务器的域，我想保留它，以便用户可以访问这些 URL 中的任何一个，并且 URL 将保持在浏览器地址栏中输入的状态（“重定向”将是好的，只要浏览器保持原始 url 可见）。但我读到这可能对 SEO 不利。

有没有办法告诉搜索引擎两个域指向同一个地方（也许在 robots.txt 中，但看起来并不乐观）。基本上我想要一个仅用于网络爬虫的 301 重定向。

我可以尝试检测何时来自爬虫的 http 请求并重定向它们，但我还没有看到执行此操作的标准方法。

Answer 1

您可以在 HTML 头部中使用 rel 属性为“canonical”的链接元素，然后它将向 Web 浏览器指示“真实”域是您将 href 属性设置为的任何内容。

例子：

  <link rel="canonical" href="http://www.example.com/your-other-site-with-identical-content">

来源：https://webmasters.googleblog.com/2009/02/specify-your-canonical.html

谷歌已经支持了这么长时间（从 2009 年到现在）这一事实有力地表明这可能是要走的路。