子域不允许通过 robots.txt 搜索机器人

Question

我想禁止搜索机器人访问整个域，包括使用 Robots.txt 和可能的 .htaccess 的子域

我想确保将来阻止任何新的子域，而不必每次都在子域的根目录中创建一个。

这可能吗？

Answer 1

如果您想通过 robots.txt 阻止漫游器，则必须为每个子域创建一个。我建议使用一个脚本来监控您的区域文件，然后自动创建一个。

另一种解决方案是使用HTTP Basic Auth。它会阻止所有机器人访问 CNAME，但它会要求用户输入用户名和密码。

或者您可以使用 IP 表来限制 IP 范围的访问。

您可以使用多种解决方案来阻止机器人访问您的 CNAME，还有更多解决方案可以阻止搜索引擎将您的网页添加到其索引中。

这取决于您是否想让谁（好机器人、坏机器人、用户等）进入，这将决定您将使用哪些解决方案。