我可以让我的 ajax 网站“可抓取”吗？答案

【问题标题】：Can I make my ajax website 'crawlable'?我可以让我的 ajax 网站“可抓取”吗？
【发布时间】：2013-02-02 08:07:40
【问题描述】：

我目前正在构建一个基于音乐的网站，我想构建类似this template. 的东西，它使用 ajax 和深度链接。（它利用了 History.js 库 - 请注意 URL 中没有“#”。）

我想使用这些“ajaxy”方法（或者可能完全使用模板）的原因是，当音乐播放时，它在用户浏览网站时不会中断。

我担心我的网站无法被 Google 抓取，但我认为我可以修改页面源代码中的代码来解决这个问题。如果我查看模板的源代码，我会在头部看到

<meta name="description" content="">
<meta name="author" content="">
<meta name="keywords" content="">

现在，如果我将它添加到头部：

<meta name="fragment" content="!">

这会使网站可抓取吗？我还需要在此之上添加其他代码吗？还是这个模板不可能？

我正在关注本指南https://developers.google.com/webmasters/ajax-crawling/docs/getting-started，并且正在进行第 3 步。我当然必须完成其他步骤，但我不知道我是在朝着正确的方向前进，还是朝着死路！

任何帮助将不胜感激。非常感谢。

【问题讨论】：

标签： ajax seo search-engine google-search googlebot

【解决方案1】：

从您所说的看来，当您通过 ajax 导航时，您的网站会使用干净的 url 更新地址栏。那挺好的。接下来要做的是确保这些 url 有效。如果您直接访问一个 url，您是否会看到它所代表的具体内容。并且爬虫是否也会在不运行 javascript 的情况下看到正确的内容。渐进式增强对此非常有效。最后一件事是您要做的是确保机器人可以获取这些网址。我没有玩过元标记！但是看起来它只适用于主页，您仍然需要实现转义片段页面。也许它确实支持其他页面，但文章没有涵盖。

【讨论】：

感谢您的帮助。我刚刚注意到 Firefox 中的 URL 是干净的，但在 IE 中它是丑陋的！在禁用 JS 的 FF 中，“干净” URL 不显示除导航栏以外的任何内容。单击导航栏中的任何项目后，页面加载以显示该页面的内容（但没有样式）。我有点困惑！您认为我有机会以某种方式使其可爬行吗？非常感谢
听起来您的代码无法在所有浏览器上正常运行。如果你想使用渐进增强，那么干净的 URL 必须显示正确的内容，然后 JavaScript 让它变得很酷。您的样式可能会失败，因为您使用 css 文件的相对 URL，而干净的 URL 是基于文件夹的。