【发布时间】：2026-02-06 10:40:01
【问题描述】：
我正在开发的网站有一些小问题，我想提供一个测试版本，我会在其中进行一些调整以查看情况（我想在移动设备上进行测试）设备也是如此，因此拥有实时版本肯定是在多个设备上进行测试的最简单方法。
理想情况下，我希望有类似 mysite.com/test/ 的内容，它将从主站点的精确副本开始。但是，我不想因为“重复内容”而在 google 等方面遇到任何问题。
避免此类问题的最佳方法是什么？
【问题讨论】：
【发布时间】：2026-02-06 10:40:01
【问题描述】：
放
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
【讨论】：
我想您会希望域根目录中有一个 robots.txt 文件，以指示抓取工具可以扫描哪些页面。
【讨论】：
-
谢谢，我在想我必须手动指定每个页面，这会很痛苦，但是，嗯，是的，显然我可以指定完整目录。奇怪的是，谷歌在这里建议 support.google.com/webmasters/bin/… 不要这样做“谷歌不建议阻止爬虫访问您网站上的重复内容，无论是使用 robots.txt 文件还是其他方法。”不过对我来说似乎很好。
-
@QuakerOat：请注意，如果 Google 在任何地方找到链接，它可能仍会将您被阻止的 URL（但不是内容）编入索引。