选择性地索引子域答案

【问题标题】：Selectively indexing subdomains选择性地索引子域
【发布时间】：2012-08-06 13:34:16
【问题描述】：

我正在开发 Web 应用程序，它允许用户依次创建自己的 webapp。对于我的应用程序创建的每个新 Web 应用，我都会分配一个 新子域。例如subdomain1.xyzdomain.com、subdomain2.xyzdomain.com 等

所有这些 Web 应用程序都存储在数据库中，并由 python 脚本提供服务（比如 default_script.py）保存在/var/www/。到目前为止，我已经使用 robots.txt 阻止了目录 (/var/www/) 的搜索引擎索引。这基本上阻止了我的所有脚本的索引，包括 default_script.py 以及使用该 default_script.py 脚本为多个 web 应用程序提供的内容。

但现在我希望这些子域中的一些应该被编入索引。

搜索了一段时间后，我找到了一种方法来阻止对我的脚本进行索引，方法是在 robots.txt

中明确指定它们

但我仍然怀疑以下几点：

将阻止我的 default_script.py 编入索引还会阻止对从 default_script.py 提供的所有内容进行编入索引。如果是，那么如果我让它索引，default_script.py 是否也会开始出现在搜索结果中。
如何允许选择性地对某些子域进行索引。

例如：索引 subdomain1.xyzdomain.com 但不是 subdomain2.xyzdomain.com

【问题讨论】：

标签： python seo indexing robots.txt googlebot

【解决方案1】：

没有。搜索引擎不应该关心生成页面的脚本。只要将 webapps 生成的页面编入索引就可以了。

第二个问题：

您应该为每个子域创建一个单独的 robots.txt。也就是说，当从特定子域获取 robots.txt 时，返回仅与该子域相关的 robots.txt 文件。因此，如果您希望子域被索引，该机器人文件是否允许所有。如果您不想将其编入索引，请让 robots 文件全部拒绝。

【讨论】：

谢谢@Rafael，这回答了我的第一个问题。你对第二个有什么想法吗？
那么，您的意思是对于子域 robots.txt 将从数据库而不是 /var/www/ 提供。因为我在我的案例中看到 robots.txt 是从 /var/www/ 而不是从数据库中获取的，我用它来阻止我的脚本文件。
有很多方法可以做到这一点。您可以为每个包含特定版本 robots.txt 的子域创建单独的文件目录。或者，您可以在服务器端将 robots.txt 的 feteches 重写为 subdomain.robots.txt。或者您可以按照您的建议从数据库中为它们提供服务。

【解决方案2】：

所以总结一下讨论，

这就是我的.htaccess 文件的外观，它保存在/var/www/ 目录中：

Options +FollowSymlinks
RewriteEngine On
RewriteBase /

# Rule Below allows using different robots.txt for subdomain1.
RewriteCond     %{HTTP_HOST}           ^subdomain1.xyzdomain.com$ [NC]
RewriteRule     ^(.*)robots.txt        subdomain1-robots.txt [L]

# This rule is applicable on rest of subdomains and xyzdomain.com.
RewriteRule     ^robots.txt$           robots.txt [L]

# This rule allow serving content from default_script.py for files other then robots.txt
RewriteRule     .                      default_script.py

【讨论】：