索引还是不索引？ Google CSE 在做什么？备择方案？

Question

我正在尝试了解 Google CSE（自定义搜索引擎）在做什么。我使用免费版并提交sitemap.php。

Google CSE 采用此方法并索引 200 个（共 2500 个页面）。我前段时间做过这个，现在开始怀疑它是否会索引其余部分。

如果我查看 Google 网站管理员工具，相关网站的仪表板显示 200 个页面已编入索引。

如果我查看Google Webmaster Tools, Index Status，它会告诉我有 0 个页面被编入索引。这对我来说看起来不正确。 200是我目前猜对的，但我真的不知道。

我怀疑这些差异是因为 Google 之前知道该网站。但是，sitemap.php 指向的页面如果没有此文件则无法找到。

我开始怀疑这是否会起作用。 Google CSE 以前有时返回 0，有时返回很多命中。我无法理解发生了什么，这就是我添加此站点地图的原因。站点地图以一种我认为更适合 Google 的新方式呈现相关页面。 （同样的页面在http://zotero.org/上也有不同的形式。）

有什么建议可以让这个搜索正常工作吗？ （我正在考虑使用 OpenSearchEngine，但目前我没有可以运行 Java 的虚拟主机。这是一个免费项目，在我的业余时间，所以我没有很多经济资源。也许我可以让 Apache Lucy 工作，但我不确定。我尝试在 Cygwin 下编译它，但由于在 perl 5.18 中修复的gcc-4-link 的问题而失败，但 Cygwin 只有 5.14。我的网站hotell hosts 当然运行 Linux，但 Lucy 看起来有点早。也许我错了？）

Answer 1

每个免费的自定义搜索引擎都分配有 200 个页面的配额，用于立即索引： https://support.google.com/customsearch/answer/115958?hl=en

但是，我认为On-demand indexing 可能不是您想要的，您只是希望 CSE 可以搜索您的 2.500 个 URL（而不是尽快抓取）。这可能是问题所在：“如果我查看 Google 网站管理员工具，索引状态会告诉我 0 个页面已编入索引”。

如果您的网站没有被 Google 编入索引，因此它没有出现在 www.google.com 结果中，那么您可能还不能使用 CSE。您可以使用 site: 运算符 - https://www.google.com/webhp#q=site%3Azotero.org （以及在 Google 网站管理员工具，索引状态中，如您所说）查看您已编入索引的页面数。

我认为您应该在网站管理员工具中提交站点地图，并确保您的网站易于抓取（页面加载正常，并且它们是相互关联的，导航是用纯 HTML“硬编码”而不是由 JavaScript 生成的，或者您提供了 AJAX HTML 快照等），并且没有技术问题（例如无效的 robots.txt 文件等），当您在 www.google.com 上搜索 site:your-domain.com 看到您的 2.500 个页面时，它们会自动也会出现在您的 CSE 上。