【发布时间】：2014-08-18 03:06:39
【问题描述】：
同一目录下的某些页面根本不显示在 Google 自定义搜索中。这些页面也由其他页面链接。
奇怪的是，如果我登录了[网站管理员工具]，那些链接
- 显示在[内部链接]部分
- 如果我在 [Fetch as Google] 中测试它们，则显示“完成”状态
- 通过了 [robots.txt 测试仪] 未显示
- 在抓取错误中
这些页面在 sitemap.xml 的“频率”中标记为“每日”，在“优先级”中标记为“1”。这些页面是我正在处理的网站上最重要的部分。但是它们根本没有显示...
有谁知道我如何测试并找出这种行为的根本原因？
提前致谢！！
【问题讨论】：
标签： robots.txt google-search-console google-custom-search web-crawler