【发布时间】:2018-02-08 13:27:07
【问题描述】:
我想禁止 google/yandex/bing(所有其他知名搜索引擎)的抓取工具展示我网站的广告。 (我知道这听起来很疯狂,但请理解机密性)。其他人竞标我的网页,我不想鼓励这种行为。
基本上我不想要任何关于我的网页的广告。我认为可能的一种方法是在 robots.txt 中禁止他们的机器人。这行得通吗?如果是,我如何获得所有主要参与者及其所有广告机器人的 UA 列表。
如果没有,我有什么解决方案?
【问题讨论】:
标签: web-crawler google-ads-api yandex