Robots.txt，禁止多语言 URL答案

【问题标题】：Robots.txt, disallow multilanguage URLRobots.txt，禁止多语言 URL
【发布时间】：2011-04-07 17:44:52
【问题描述】：

我有一个用户无法登录的公共页面。所以我有一个没有链接的网址，你必须手动输入然后登录。

但是，该 url 是多语言的，所以它可以是“/SV/Account/Logon”或“/EN/Account/Logon”等。我可以禁用这个 url 来为所有语言编制索引吗？

【问题讨论】：

【解决方案1】：

此网址可能对您有所帮助 http://www.robotstxt.org/robotstxt.html。在您的情况下，不会有通配符排除，您必须在 robots.txt 中添加所有语言特定的登录网址

更新

您可以将Disallow: /folder/subfolder/ 或Disallow: /folder/ 放入您的robots.txt 文件中

【讨论】：

感谢您的回答。我读了，不想这样做。例如，其他用户可能会使用管理界面添加更多语言，但他们不知道如何编辑 robots.txt。也许我可以在添加更多语言时从我的代码中编辑它
@Oskar 您还可以考虑将此类页面移动到单个文件夹下，然后将该文件夹添加到 robots.txt 的例外列表中
@ajay_whiz 他们都在同一个文件夹下。但是我可以写文件夹吗？我认为唯一影响这一点的 URL 是
@Oskar 是的，您可以输入为Disallow: /folder/subfolder/ 或Disallow: /folder/
@ajay_whiz 谢谢，请发布答案，以便我接受 :)