Sharepoint 2013 站点返回 304 未修改答案

【问题标题】：Sharepoint 2013 Site Returns 304 Not ModifiedSharepoint 2013 站点返回 304 未修改
【发布时间】：2013-12-26 14:53:04
【问题描述】：

其中一个 sharepoint 2013 网站无法被 google bot 抓取。谷歌表示，他无法访问 Robots.txt。当我从 chrome 开发人员工具中查看时，似乎服务器返回 304 代码。

我该如何解决这个问题？

编辑：当我调用不带“www.”(xxxxx.com/robots.txt) 的 url 时，服务器返回 200 ok。

用户代理：*

Allow: /

Disallow: /_layouts/
Disallow: /_vti_bin/
Disallow: /_catalogs/


Sitemap: http://www.xxxxxxx.com:80/sitemap.xml

【问题讨论】：

【解决方案1】：

已解决：

需要在防火墙上授予对爬虫服务的访问权限。

谢谢。

【讨论】：

【解决方案2】：

试试这个：

User-agent: *
Allow: /
Disallow: /_layouts/
Disallow: /_vti_bin/
Disallow: /_catalogs/
Sitemap: sitemap.xml

【讨论】：