我如何记录每个机器人（谷歌、雅虎等）访问我的网站

Question

如何记录/记录每个机器人对我网站的访问。我想知道爬虫对我的网站进行爬网的频率以及哪些页面正在被索引或爬网。是否有任何 php 脚本可用于了解 google、yahoo 和其他机器人的访问。

Answer 1

解析用户代理的日志文件 我首先有单独的日志文件 其余的自己google一下或考虑接受一些答案

Answer 2

使用 awstats 或 robotsstats， 它会完成这项工作。