Google 抓取、AJAX 和 HTML5答案

【问题标题】：Google crawling, AJAX and HTML5Google 抓取、AJAX 和 HTML5
【发布时间】：2011-09-30 14:07:18
【问题描述】：

HTML5 允许我们在不刷新浏览器的情况下更新当前 URL。我在 HTML5 之上创建了一个小框架，它允许我透明地利用它，因此我可以使用 AJAX 执行所有请求，同时仍然拥有不带主题标签的可书签 URL。所以例如我的导航是这样的：

<ul>
   <li><a href="/home">Home</a></li>
   <li><a href="/news">News</a></li>
   <li>...</li>
</ul>

当用户单击新闻链接时，我的框架实际上会为页面发出 AJAX GET 请求 (jQuery)，并用检索到的内容替换当前内容。之后，使用 HTML5 的 pushState() 更新当前 URL。不过，同样可以在浏览器中输入http://www.example.com/news，当然会同步提供内容。

现在的问题是，Google 会抓取该网站的页面吗？我知道 Google 提供了一个 guide 用于爬取 Ajax 应用程序，但本文假设主题标签用于收藏，我不（不想）使用主题标签。

【问题讨论】：

【解决方案1】：

由于您有指向页面的实际硬链接并且它们加载相同的内容，因此 Google 会很好地抓取您的网站。

【讨论】：

问题在于 Google 是如何进行抓取的。它会识别页面内包含的所有链接，然后对它们进行单独的同步请求，还是会尝试“点击”每个链接，这可能不会产生相同的结果，因为蜘蛛无法执行任何 Javascript（或者它可以?)。
您的链接是实际的、正常的链接，因此将完全按照所写的内容进行操作。 Google 永远不会执行 Javascript。