对机器人隐藏一段代码

Question

我只是在想。有没有办法只对爬虫隐藏页面的特定部分？

我知道我可以设置“显示：无；”然后用 JS 把它展示给用户。在过去它可以工作，但现在爬虫（/将会）更聪明（尤其是谷歌的爬虫）并且可以读取 JS。

那么，有什么办法可以让机器人隐藏某些部件，但将来不会让用户看到？不是整页，只是部分。

PS #1：我只是在想，我没有理由这样做（还没有？）。

PS #2：也许使用 AJAX 是可能的？但是没有理由对 smart-js-reading-crawler 隐藏它。

谢谢大家，

麦芽酒

Answer 1

没有。

从根本上说，机器人和人操作的UA没有显着差异。

机器人可以执行 JS。机器人可以绕过验证码（通过图像分析，或将它们喂给人类，人类将它们翻译成金钱，或各种其他技术）。机器人可以实施时间延迟，使其看起来不像机器。等等。