如何防止谷歌机器人抓取页面的特定部分？答案

【问题标题】：How to prevent google bots to crawl a specific part of a page?如何防止谷歌机器人抓取页面的特定部分？
【发布时间】：2015-04-20 09:27:11
【问题描述】：

我希望谷歌机器人阻止抓取页面的特定部分，比如 div。我的网站是有角度的，我正在使用转义片段页面进行 seo。我不想为此使用 iframe。有什么建议吗？

【问题讨论】：

【解决方案1】：

我可以想到两种方法可以做到这一点：

1- 使用 jQuery 或 Javascript

只需将页面中您不想被抓取的部分包装在一个 div 中并为其分配一个 id。然后，将 display:none 样式应用于 css 文件中的 id，然后在页面加载时通过 jQuery 或 Javascript 使其成为 display:block。

这点 HTML、CSS 和 javascript 应该可以做到：

HTML：

<div id="hide-from-bots">The content of this div will be hidden from bots</div>

CSS：

#hide-from-bots {
display:none;
}

jQuery：

<script type="text/javascript"> 
$(document).ready(function()
  {
      $("#hide-from-bots").show();
  }
</script>

2- 检测用户代理并跳过内容

另一种方法可能是以某种方式检测 USER AGENT，然后将您不想被抓取的页面部分包装在这样的条件语句中：

if (USER AGENT != Googlebot){
  This content wouldn't render for Googlebot
}

【讨论】：

【解决方案2】：

今天最好的方法是使用googleon/googleoff 标签来排除网站的某些部分。

有关该主题的更多信息，请参阅Google Search Appliance Help。

【讨论】：