如何在多站点 VPS 上设置 robots.txt答案

【问题标题】：How to setup robots.txt on multi-site VPS如何在多站点 VPS 上设置 robots.txt
【发布时间】：2013-08-16 18:18:55
【问题描述】：

所以我有一个 VPS（运行 debian）设置来托管我正在处理的许多网站。结构如下：

/var/www/www.website1.com
----------------------------------
/var/www/www.website1.com/htdocs
/var/www/www.website1.com/cgi-bin
/var/www/www.website1.com/logs


/var/www/www.website2.com
----------------------------------
/var/www/www.website2.com/htdocs
/var/www/www.website2.com/cgi-bin
/var/www/www.website2.com/logs

等

我的问题是我的 robots.txt 文件应该放在哪里。它是否应该与站点文件一起在每个站点的 htdocs 中。或者我可以在一个位置为整个 VPS 提供一个主 robots.txt 文件。我试图阻止谷歌抓取网站结构中不需要由搜索引擎访问的日志文件夹和任何其他文件夹。目前我似乎有点矫枉过正，谷歌没有在我的一个网站上索引我的 index.html 以及其中的描述。

任何帮助都会很棒。

【问题讨论】：

标签： web vps robots.txt

【解决方案1】：

您应该在每个 htdocs 目录中为每个站点创建一个单独的 robots.txt 文件。给定的 robots.txt 文件仅适用于加载它的域，因此每个站点都应该有自己的文件。理论上，您可以为您的所有网站设置一个共享 robots.txt 文件，但这通常不是一个好主意，因为它无法阻止一个网站上的某些内容而不阻止所有网站上的内容其他人。

【讨论】：

【解决方案2】：

当然，如果您愿意，您也可以为您的 vps 提供 master robots.txt。如果您这样做并且当您想要阻止某个文件夹时，您可以通过提供该文件夹的整个路径来阻止它。但建议您为托管 vps 中的每个网站使用单独的 robots.txt。

你要求谷歌不要索引你的网站，因为你只需检查你在哪里阻止了机器人，如果没有将该网站添加到谷歌网站管理员工具并验证，那么谷歌肯定会索引你的网站。对所有网站执行相同的操作，这样可以很好地为每个网站处理所有形式的单独记录，即使它在单个 vps 中也是如此。

对于未来的服务器需求，请与我的vps hosting provider 联系，他会帮助我托管我的网站和应用程序。

【讨论】：