具有多个域站点地图条目的 Robots.txt

Question

我们的网站有很多域名，例如：

example.co.uk
example.in
example.co.eg
...

所以在robots.txt 中应该有一个条目显示我们的站点地图文件所在的位置。

所以我的问题是：

每个域都有许多站点地图文件，那么如何在单个robots.txt 文件中为每个域分别放置这些条目？

Answer 1

假设您对所有域都有相同的 robots.txt 规则，请将您的单个 robots.txt 放入根目录并将所有站点地图链接放入其中。 我认为站点地图链接看起来像

http://www.example.co.uk/sitemap.xml http://www.example.in/sitemap.xml http://www.example.co.eg/sitemap.xml

或者你可以建立一个类似的结构

/robots/co-uk.txt /robots/in.txt /robots/co-eg.txt

根据站点地图链接放入其中，并根据用户国家/地区动态交付它们

<ifModule mod_geoip.c> GeoIPEnable On RewriteCond %{ENV:GEOIP_COUNTRY_CODE} ^UK$ RewriteRule ^robots\.txt$ robots/co-uk.txt [L] </ifModule>

为此，您应该安装 mod_geoip 或 ip2location。如果使用 ip2location 将 GEOIP_COUNTRY_CODE 替换为 IP2LOCATION_COUNTRY_SHORT。