禁止 robots.txt 中带有语言代码的子目录

Question

我们的网站被翻译成大约 15 种语言，我们的编辑会定期提供更多语言。

我们的网址是这样建立的：

SiteName.Company.com/{LCID}/Folder1/Folder2/

我们公司希望对搜索引擎隐藏子文件夹/页面。

LCID 可以是从 EN-US 到 ZH-HANS 的任何内容。我正在寻找一种解决方案，我们不必在每次添加新语言时都更新机器人文件。

我可以创建一个通配符条目或过滤掉单个文件夹名称而不管它的路径吗？

IE：companyinfo.no​​kia.com/en-us/aboutus/darknews/ 我希望 Google 抓取除 darknews 和 down 之外的所有内容（因此 /darknews/ELOPSellsOut 或 /darknews/3210revival）

这可能吗？

Answer 1

您可以使用通配符来做到这一点：

User-agent: *
Disallow: /*/darknews/

请注意，并非所有机器人都支持通配符。这适用于 Googlebot 和 Bingbot，但不适用于许多其他人。