如何停止索引包含子文件夹的链接

Question

我网站上的真实链接应在 google 中作为（示例）索引：

www.mywebsite.com/title,id,sometext,sometext

意外地谷歌搜索索引我的网站与子文件夹不应该发生例如：

www.mywebsite.com/include/title,id,sometext,sometext www.mywebsite.com/img/min/title,id,sometext,sometext 等等

如何阻止这些操作被索引。我必须在 htaccess 或 robots.txt 上更改什么？帮帮我，谢谢

Answer 1

您需要更新您的 robots.txt 以防止机器人浏览这些页面，并且您应该在这些页面上设置 noindex 以将它们从排名中移除。如果可以从多个 URL 提供同一页面，您可能还想探索规范链接。