使用 htaccess 正确重定向

Question

我现在在我的项目中使用robots.txt、sitemap.xml 和.htaccess，如果我在 Google 网站管理员工具中提交它们，我的 sitemap.xml 网址会出现访问错误。

robots.txt

User-Agent: *
Disallow:

sitemap.xml

<url>
  <loc>http://www.example.de/</loc>
  <changefreq>daily</changefreq>
</url>
<url>
  <loc>http://www.example.de/blog/article/</loc>
  <changefreq>daily</changefreq>
</url>
<url>
  <loc>http://www.exampe.de/blog/article/example-article</loc>
  <changefreq>daily</changefreq>
</url>

.htaccess

RewriteRule ^(.*)blog/article/$ $1article.php
RewriteRule ^(.*)blog/article/example-article$ $1blog/example-article.php

我的文件夹结构：

├───blog
│   └─── example-article.php
├─── sitemap.xml
├─── robots.txt
├─── .htaccess
├─── article.php
├─── ...

谷歌网站管理员工具说：

http://www.example.de/blog/article/
http://www.example.de/blog/article/example-article

被 robots.txt 阻止，这是不可能的，因为我允许抓取所有内容。

我的错误在哪里？

Answer 1

使用：robots.txt

User-Agent: *
Disallow: /only_folder_name_you_disallow/

你不能使用Allow

还要注意，在 User-agent 或 Disallow 行中不支持通配符和正则表达式。 User-agent 字段中的“*”是一个特殊值，意思是“任何机器人”。具体来说，您不能使用“User-agent: bot”、“Disallow: /tmp/*”或“Disallow: *.gif”之类的行。 http://www.robotstxt.org/robotstxt.html