Htaccess 使用主机进行实时测试答案

【问题标题】：Htaccess to use the hosting for live testingHtaccess 使用主机进行实时测试
【发布时间】：2012-12-19 13:13:04
【问题描述】：

我会使用托管进行实时测试，但我想保护访问并防止搜索引擎索引。例如 public_html 中的（服务器目录结构）：

_私人
_bin
_cnf
_日志
_ ...（更多默认目录托管）
testpublic
CSS
图片
index.html

我希望 index.html 对所有人可见，并且所有其他目录（“testpublic”除外）都被隐藏、受保护的访问和搜索引擎不被索引。

目录“testpublic”我希望它是公开的，但可能不会在搜索引擎中被索引，不确定这是否可能。

要了解我需要 2 个文件 .htaccess。
“public_html”中的一个通用和“testpublic”的其他特定。

.htaccess general (public_html) 我认为它应该是这样的：

AuthUserFile /home/folder../.htpasswd
AuthName“测试！”
AuthType 基本
需要用户 admin123

满足任何
FilesMatch>

谁能帮我创建具有适当属性的文件？谢谢！

【问题讨论】：

对于搜索引擎的非索引，robots.txt 就足够了。

标签： security .htaccess .htpasswd

【解决方案1】：

您可以使用根文件夹中的 robots.txt 文件。所有遵守标准的机器人都将遵守此文件，并且不会为您的文件和文件夹编制索引。

示例 Robots.txt 告诉所有 (*) 爬虫继续前进并且不编制任何索引。

User-agent: *
Disallow: /

您可以使用 .htaccess 文件来微调您的服务器（假设是 Apache）提供的服务以及可见的目录索引。在这种情况下，您将添加

IndexIgnore *

到您的 .htaccess 文件以禁止索引。

更新（归功于https://stackoverflow.com/users/1714715/samuel-cook）：

如果您想专门阻止机器人/爬虫并知道其 USER AGENT 字符串，您可以在 .htaccess 中执行此操作

<IfModule mod_rewrite.c>
  RewriteEngine on
  RewriteCond %{HTTP_USER_AGENT} Googlebot
  RewriteRule ^.* - [F,L]
</IfModule>

希望这会有所帮助。

【讨论】：

感谢您的帮助！