Googlebot 无法访问我的 WordPress robots.txt

Question

我的 WordPress 网站上的 Google 索引有些问题。 当我将我的网站添加到 Google 网站管理员时，.htaccess 如下

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

现在，我尝试将这些行添加到 .htaccess 文件中，但 Google 仍然没有索引我的网站。

# BOT SETTINGS
SetEnvIfNoCase User-Agent .*google.* search_robot
SetEnvIfNoCase User-Agent .*yahoo.* search_robot
SetEnvIfNoCase User-Agent .*bot.* search_robot
SetEnvIfNoCase User-Agent .*ask.* search_robot

Order Deny,Allow
#Deny from All
Allow from env=search_robot

我哪里做错了？

Answer 1

创建 robots.txt 文件并使用以下代码上传您的 wordpress 根文件夹。

User-agent: google
Disallow:

User-agent: yahoo
Disallow:

User-agent: bot
Disallow:

User-agent: ask
Disallow:

User-agent: *
Disallow: /

并尝试在您的.htaccess 中删除#BOT SETTING。