Google 忽略新的 robots.txt 文件 - 不会在 SERP 中显示信息

Question

我正在运行一个丹麦航班搜索引擎。我之前设置了一个有缺陷的 robots.txt 文件，该文件最终删除了我大部分网站的标题标签和描述。

现在我已将 robots.txt 修复为：

# Robots file for www.billigeflybilletter.dk
User-Agent: *
Disallow: /wp-admin/
Disallow: /hoteller
Allow: /wp-admin/admin-ajax.php
Allow: /flyforsinkelse/

但是，非常重要的页面https://www.billigeflybilletter.dk/flyforsinkelse/ 仍然在索引中显示了这一点：

丹麦语中的“nope”。

我在这里可能做错了什么？

robots.txt 文件可通过非 HTTP 和非 HTTPS 访问。

Answer 1

使用您当前的 robots.txt，允许抓取相关页面。

您不需要Allow: /flyforsinkelse/ 行，因为默认情况下允许抓取所有内容（未明确禁止）。

下次 Googlebot 抓取您网站上的某些内容时，它会获取您的 robots.txt，获悉现在允许抓取的次数比以前更多，然后会在某个时候抓取“新”页面（如果它可以找到指向它的链接）。这可能需要几分钟、几小时、几天或几周的时间。