为什么我的 angularjs 网站无法完全抓取？

Question

我创建了我的第一个 AngularJS 网站。我已经设置了 pushstate（html5 模式），添加了片段元标记，在 google 中创建了站点地图并测试了“google fetch”功能。几天后，我的网站仍然没有被谷歌完全索引。谷歌只索引了 1 个 url 而不是 4 个（我的站点地图包含 4 个 url）。我的网站是Tom IT。这个主页是索引，但同样在站点地图中的this subpage（您可以在我的域tom-it.be 的根目录中的sitemap.xml 中找到我的站点地图）不会出现在搜索结果中。我还添加了 robots.txt。

Answer 1

Google 抓取工具可以解析由 SPA 生成并出现在 SERP 上的页面，但不能立即解析，可能需要几天时间。根据我的经验，使用 AngularJS 可能需要 3 天，使用 EmberJS 需要 7 天。

如果你的网站想要被完全爬取，重要的信息应该放在 HTML 中，或者使用其他技术，例如，为爬虫准备另一个页面，服务器预渲染或 PhantomJS。