不理解这个 robots.txt答案

【问题标题】：Not understanding this robots.txt不理解这个 robots.txt
【发布时间】：2018-09-13 12:01:42
【问题描述】：

另一家公司为我管理的网站设置了 robots.txt。这是他们使用的代码：

User-agent: googlebot
User-agent: google
User-agent: bingbot
User-agent: bing
Allow: /products/

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /sales/
Disallow: /products/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php*

我看到 Disallow: /products/ 并允许 /products/。我不明白他们为什么这样写。我应该改变什么吗？

【问题讨论】：

标签： wordpress seo robots.txt

【解决方案1】：

第一个指令Allow: /products/ 对 google 和必应机器人。
第二个指令Disallow: /products/ 有效对于所有其他机器人，`User-agent: *´。

我认为这些规则没有多大意义，但它们并不违反标准。

【讨论】：