【发布时间】:2016-09-06 03:48:58
【问题描述】:
我知道用漂亮的汤模块编写 Python 爬虫。现在我想检测是否有人抓取了我的网站。怎么做。有人可以指出我的伪代码或源代码。基本上我想在 python 中编写反爬虫。
【问题讨论】:
-
这根本做不到。您可以尝试阻止最简单的方法(阻止用户代理、监视快速请求、使用 javascript 注入等),但您无法阻止它。
标签: python python-2.7 python-3.x web-crawler google-crawlers