通常，如果我不想让 Google 抓取页面，我会像这样将该页面添加到我的 robots.txt 文件中：
User-agent: *
Disallow: /my-page
为防止 Google 将该页面编入索引，我将从我的 sitemap.xml 中删除该页面，并将以下元标记添加到该页面的 <head>：
<meta name="robots" content="noindex">
现在，如果我使用 AngularJS 处理单个页面应用程序的所有路由，如何停止 Google 索引和/或抓取路由？ Angular 在 ng-view 中为每条路由带来了内容，因此<head> 中的信息在每条路由上都保持不变。在这种情况下，我认为我不能添加元标记。
【问题讨论】：
标签： javascript html angularjs seo robots.txt
如果您的根模块放在<html> 标记（<html ng-app="myApp">）上，您可以修改<head> 中的所有属性。这允许您为每个页面动态设置机器人<meta>。您可以使用根模块中的 $routeChangeSuccess 事件来做到这一点。如果您使用的是 ui-router，您可以在路由上设置一个“数据”属性，您可以在每次状态更改时读取该属性。您也可以使用 $rootScope 从其他模块更新此值，但这不是一个好习惯。最好的方法是从子控制器/指令广播对根模块的更改。
我有一个动态更改页面<title> 的示例，但它有点复杂，因为这个应用程序是手动引导的。但是，假设<html> 标签上有一个 ng-app="" 和 ng-controller="" 指令。
这是<title> 绑定：https://github.com/danmindru/angular-boilerplate-study/blob/master/src/index.html#L4
但是，Google 并不擅长读取这些属性，因此您必须使用预渲染服务来确保 googlebot 将解析 <meta name="robots" content="noindex"> 而不是 <meta name="robots" content="{{index}}"> 之类的东西。
【讨论】：