如何防止搜索引擎抓取我网站上的子域？

Question

我的网站上安装了 cPanel。

1. 我去了 cPanel 上的域部分

2. 我点击了子域。

3. 我分配了子域名（例如：personal.mywebsite.com）

4. 它还希望我分配文档根文件夹。我分配了 mywebsite.com/personal

   如果我在我的网站根目录中创建 robots.txt（例如：website.com）

   用户代理：

   不允许：/personal/

它也可以阻止personal.mywebsite.com吗？

我该怎么办？

谢谢

Answer 1

如果您想阻止 personal.example.com 上的 URL，请访问 http://personal.example.com/robots.txt（分别是 https 而不是 http）。

您的服务器如何在后端组织文件夹并不重要，重要的是访问此 URL 时哪个 robots.txt 可用。