如何防止我的抓取工具显示在 Google Analytics（分析）中答案

【问题标题】：How do I prevent my crawler from being shown in Google Analytics如何防止我的抓取工具显示在 Google Analytics（分析）中
【发布时间】：2019-05-03 19:38:25
【问题描述】：

我有一个应用程序可以检查您的网站是否存在链接断开和 SEO 问题等问题。几周后，这个爬虫的动作就会出现在访问过的网站的谷歌分析账户中。我想防止这种情况发生，因为它会弄乱我用户的 GA 报告。

爬虫没有执行任何 javascript 并且有这个用户代理： Mozilla/5.0（兼容；Appname Crawler；+https://www.nameofmyapp.co/crawler）

我希望 GA 足够聪明，能够识别出这是一个爬虫。过去是这样，但自从几周以来，GA 将我的爬虫的访问计为实际访问，即使在“机器人和蜘蛛过滤”选项开启的情况下也是如此。

如何防止这种情况发生？

【问题讨论】：

标签： google-analytics web-crawler

【解决方案1】：

在 Admin > View settings 下，您可以添加带有要排除的 UserAgent 的过滤器。或者，您的 Bot 应该阻止 GA 脚本，因此您的访问不应该被识别。

【讨论】：

【解决方案2】：

找到了：我的机器人正在使用 Google Pagespeed API 检查页面的速度。这些请求最终在 GA 中结束。

【讨论】：