站点地图不足

Question

我使用concrete5 作为我网站的CMS。我从 google 搜索控制台收到一条消息，指出“当我们测试站点地图中的 URL 样本时，我们发现该站点的 robots.txt 文件阻止了对某些 URL 的访问。如果您不打算阻止某些 URL在站点地图中包含的网址中，请使用我们的 robots.txt 分析工具来验证您在站点地图中提交的网址是否可供 Googlebot 访问。所有可访问的网址仍将提交。” 当我调查我的站点地图时，我的网站 domain/sitemap.xml 我发现它都包含管理链接而不是用户的网站页面的 URL。 我从自动化作业生成了一个新的站点地图并清除了缓存，但问题仍然存在。 我正在使用 cdn 生成 url，有什么办法可以解决这个问题吗？

Answer 1

你所描述的真的很奇怪。 First Concrete5 不会生成 robots.txt 文件。但是，它确实使用相关属性向页面添加了一个带有 noindex 的机器人元标记。 默认安装还附带一个 robots.txt 文件，该文件不允许“应用程序”文件夹中的特定文件夹，因此与页面无关。

最后，站点地图生成作业会从站点地图中排除所有系统页面和所有仪表板页面。

您能否分享一些站点地图中指向管理页面的行以查看发生了什么？