robots.txt 中每个 TLD 的站点地图参考答案

【问题标题】：Sitemap reference in robots.txt for each TLDrobots.txt 中每个 TLD 的站点地图参考
【发布时间】：2016-02-26 14:09:25
【问题描述】：

我们使用 robots.txt 来引用我们的站点地图索引文件。现在我们将发布新的、不同的国家。我们在 TLD .de 下的网站提供了 robots.txt，其中包含对我们索引文件的引用。索引文件是指包含loc XML 节点中的.de 链接的不同站点地图。其他语言环境（例如.fr）在下面与xhtml:link 一起列出。

例子：

<url>
    <loc>https://xy.de/hallo</loc>
    <xhtml:link>https://xy.fr/hello</xhtml:link>
</url>

现在的问题是，我们是否也应该将引用站点地图索引的 robots.txt 添加到我们的.fr 索引中？或者仅将参考放在德语.derobots.txt 中可能就足够了，因为这些位置是用其他语言环境的替代位置描述的？或者我们应该用“当前”语言环境反转loc XML 节点？例如。在https://xy.fr/robots.txt 下，loc XML 节点中是否应该有一个用.fr 链接引用的站点地图？

【问题讨论】：

标签： internationalization sitemap host robots.txt

【解决方案1】：

Sitemaps protocol 没有提及xhtml:link 元素，因此遵循协议的消费者可能会忽略它。

作为站点地图can only contain URLs from the same host，并且robots.txt 文件也仅适用于其主机，典型的方法是为每个主机提供自己的robots.txt 文件，该文件指向该主机的站点地图（with an absolute URL）。

# robots.txt from http://fr.example/robots.txt
Sitemap: http://fr.example/sitemap.xml

# robots.txt from http://de.example/robots.txt
Sitemap: http://de.example/sitemap.xml

站点地图可以托管在不同的主机上，但您仍需要通过 robots.txt 文件证明所有权（请参阅 Sitemaps & Cross Submits）。

【讨论】：