关于 htaccess 和 robots.txt

Question

您好，这是我在 Stackoverflow 中的第一个问题，请您帮忙。它涉及 htaccess 文件和 robots.txt 文件。 10 月，我从以前的非 WordPress 网站创建了一个 WordPress 网站。我在现有站点的子域上构建了新站点，因此在我构建新站点时，实时站点可以保持运行状态。

我在子域上建立的网站是活动的，但我担心旧的 htaccess 文件和 robots txt 文件是否应该删除它们；我在新站点上创建了新的 htaccess 和 robots.txt 文件，并将旧的 htaccess 文件留在那里。只是提到所有旧内容文件仍然位于服务器上一个名为“旧文件”的文件夹下，所以我假设这些不会影响问题。以下是每个文件的内容：

我通过 ftp filezilla 点击“public html”来访问 htaccess 和 robots.txt 文件。我建立的网站（下面的 htaccess 详细信息）。 W3TC 是我几天前安装的一个 wordpress 缓存插件，所以我没有在这里查询任何关于 W3TC 的信息：

# BEGIN W3TC Browser Cache
<IfModule mod_deflate.c>
<IfModule mod_headers.c>
    Header append Vary User-Agent env=!dont-vary
</IfModule>
<IfModule mod_filter.c>
    AddOutputFilterByType DEFLATE text/css text/x-component application/x-javascript application/javascript text/javascript text/x-js text/html text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon application/json
<IfModule mod_mime.c>
    # DEFLATE by extension
    AddOutputFilter DEFLATE js css htm html xml
</IfModule>
</IfModule>
</IfModule>
# END W3TC Browser Cache
# BEGIN W3TC CDN
<FilesMatch "\.(ttf|ttc|otf|eot|woff|font.css)$">
<IfModule mod_headers.c>
Header set Access-Control-Allow-Origin "*"
</IfModule>
</FilesMatch>
# END W3TC CDN
# BEGIN W3TC Page Cache core
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP:Accept-Encoding} gzip
RewriteRule .* - [E=W3TC_ENC:_gzip]
RewriteCond %{HTTP_COOKIE} w3tc_preview [NC]
RewriteRule .* - [E=W3TC_PREVIEW:_preview]
RewriteCond %{REQUEST_METHOD} !=POST
RewriteCond %{QUERY_STRING} =""
RewriteCond %{REQUEST_URI} \/$
RewriteCond %{HTTP_COOKIE} !(comment_author|wp\-postpass|w3tc_logged_out|wordpress_logged_in|wptouch_switch_toggle) [NC]
RewriteCond "%{DOCUMENT_ROOT}/wp-content/cache/page_enhanced/%{HTTP_HOST}/%{REQUEST_URI}/_index%{ENV:W3TC_PREVIEW}.html%{ENV:W3TC_ENC}" -f
RewriteRule .* "/wp-content/cache/page_enhanced/%{HTTP_HOST}/%{REQUEST_URI}/_index%{ENV:W3TC_PREVIEW}.html%{ENV:W3TC_ENC}" [L]
</IfModule>
# END W3TC Page Cache core
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

我有 7 个重定向到新页面 url，我对这些都没有问题，我已经测试过，每个都有效。

#Force non-www:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www\.websiteurl\.co.uk [NC]

重写规则 ^(.*)$ http://websiteurl/$1 [L,R=301]

上一个站点（旧站点的 htaccess）： 全部拒绝

---

我建立的网站（Robots.txt）： 用户代理： * 禁止：/wp-admin/

网站地图：

http://websitehomepageurl/sitemap_index.xml

上一个网站（Robots.txt）： 用户代理： * 禁止：

---

请您帮忙。非常感谢您的宝贵时间。

非常感谢。

Answer 1

删除旧的robot.txt 和htaccess。

Answer 2

您好，感谢您的回复。我在别处得到了帮助。我向开发站点添加了一个 robots.txt 文件，因此不允许使用机器人。我将所有附件重定向到其原始页面。所有其他文件都已到位。我会把它留在那里。给回复的人，谢谢。但是要说我所要做的就是删除旧的机器人和 htaccess 文件是不正确的，因为在宏伟的计划中仍然需要它们。 Stackoverflow 在网上享有很高的声誉，因此在帮助他人尝试解释时，他们可以理解您的建议背后的逻辑。我很高兴我没有接受您的建议，因为我本来可以解决更大的问题。祝你有美好的一天。

Answer 3

一点后续提示：除了通过 robots.txt 阻止内容之外，我建议您使用 ON EACH PAGE

meta content="noindex,noarchive,nofollow" name="robots"（你需要添加

原因是有些机器人没有考虑到 robots.txt 内容。

另外，我绝不允许人们或机器人查看旧的 htaccess 文件！如果人们可以阅读您的 htaccess 内容，您将面临严重的安全问题。