robots.txt - noindex 图片，noindex admin - wordpress

Question

我目前使用的 robots.txt 文件不允许为我的 WP 管理员编制索引。目前我的机器人文件如下所示：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

我希望搜索引擎也停止为我的图片编制索引。这些是我的私人作品集图片，我不希望它们出现在任何在线搜索中。

因此，我将为 Google Image bot 和 Bing bot 添加限制。我的 Robots.txt 文件现在看起来像这样：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Disallow: /

User-agent: msnbot-media
Disallow: /

这写对了吗？ 还有其他建议吗？还有其他我应该包括的图像机器人吗？

Answer 1

您当前的布局是正确的，但有一种包罗万象的方法可以阻止机器人抓取您的图片。

看到您使用的是 WordPress，我将假设您使用的是正常的文件上传结构，这意味着您还可以在 robots.txt 中添加以下内容：

User-agent: *
Disallow: /wp-content/uploads/

我建议您将其与您当前拥有的内容结合使用，因为它只会阻止位于您上传文件夹中的图像。这不适用于直接在您的主题文件或插件内容等中的图像。

您的完整列表如下所示：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Disallow: /

User-agent: msnbot-media
Disallow: /

这条路线起初可能看起来很原始，但请记住，那里有hundreds of crawlers。为他们每个人创建一个规则可能会引起相当严重的头痛。

通过阻止 99.9% 的图像所在的位置，您无需列出所有可以找到的爬虫，还可以确保任何新爬虫立即添加到列出他们是否遵守您的 robots.txt 文件。

此时，还值得一提的是，有相当多的网络爬虫完全忽略了您的 robots 文件。