禁止 wordpress 机器人上的 /feed 和 /trackback，但 Google 仍在索引

Question

我的网站和 robots.txt 文件有问题。我的机器人上的 /feed 和 /trackback url 被禁止，但由于某种原因，我仍然在我的谷歌网站管理员 url 上收到 http://www.mydomain.net/year/month/post.html/feed 和 http://www.mydomain.net/year/month/post.html/trackback ，我不知道如何正确修复。在那之后发生了我的网站访问量下降。

有人可以帮帮我吗？

问候

这是我的 robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Allow: /wp-content/uploads/
Disallow: /trackback
Disallow: /?ref=
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /?s= 
Disallow: /search

User-agent: Googlebot-Image
Allow: /

Sitemap: http://www.mydomain.net/sitemap.xml

Answer 1

你的 robtos 文件似乎没问题，我想你误解了如何使用它。 您无法通过将正则表达式添加到机器人文件中来阻止对某个文件夹的索引，这是因为 robots.txt 仅控制爬虫活动。因此，为了防止某些页面被编入索引，您必须使用 robots 元标记。

Answer 2

我认为你的问题是使用通配符* 这不是必需的，只需使用

Disallow: /feed/

同样适用于通配符的所有其他用途。

并非所有搜索引擎都接受通配符。

您可以尝试其中一个 robots.txt 语法检查器以获得更多帮助。