Magento 网站中的 Robots.txt

Question

我最近开始与一家拥有 Magento 电子商务网站的公司合作。

我们发现 5 月份的流量大幅下降，在 Google 上的排名也是如此。

当我开始调查时，我发现 ES 网站的页面没有出现在 Screaming Frog 上

只有主页显示并且状态被 robots.txt 阻止

我对我的开发人员说了这件事，他们说他们会将 robots.txt 文件移动到 /pub 文件夹。

但这不意味着文件在两个地方。这会是一个问题吗？

开发人员已经完成了这项工作，需要多长时间才能看到尖叫的青蛙正在索引页面。

有任何 Magento 开发人员可以提供这方面的建议吗？

谢谢

新

Answer 1

有一个documentation page 用于使用Magento 2.x 管理robots.txt。

您可以使用它来允许您网站的所有流量：

User-agent:*
Disallow:

关于 Googlebot 的抓取速度，这里有一些explanation。

根据 Google 的说法，“抓取和编制索引是可能需要一些时间并且依赖于许多因素的过程。”据估计，Googlebots 索引一个新网站需要几天到四个星期的时间。如果您有一个较旧的网站并且没有经历过爬网，则该网站的设计可能是一个问题。有时，当 Google 尝试抓取时，网站会暂时不可用，因此检查抓取统计信息并查看错误可以帮助您进行更改以使您的网站被抓取。 Google 也有两种不同的爬虫：一个用于模拟桌面用户的桌面爬虫和一个用于模拟设备搜索的移动爬虫。