我的网站上有一个链接保护，以防止搜索机器人扫描它，这种保护基于页面加载时的 javascript href 替换（最初编码并以“#”为前缀，如下所示：
<a href="#real_link_crunched_here">...</a>
我知道 Google 现在可以执行 javascript，因此可以跟踪“受保护”链接。 防止谷歌机器人（以及其他机器人）执行javascript是否正确？
【问题讨论】：
标签： javascript seo bots
@Epsiloncool 没有绝对的方法可以阻止机器人执行用户可以在浏览器中执行的操作……执行此类操作的唯一方法是通过验证码。您可以绑定到鼠标悬停事件以换出链接，然后可能效果更好。
我建议将 rel="nofollow" 属性添加到 A 元素，至少尊重此类操作的机器人可以做他们需要的事情。
您可以在页面上也有一个表单，并绑定此类操作以更改帖子 url，然后将该表单提交到下一页。 BOT 应该从不进行 HTTP POST。但是，任何愿意的机器人都已经忽略了 rel=nofollow。
【讨论】：
您应该使用robots.txt 文件告诉合法机器人不要加载哪些网址，或者您可以在您不想编入索引的页面的<head> 块中执行<meta name="robots" content="noindex" />。
您也可以通过<a rel="nofollow"> 让 Google 忽略这些链接标签。
【讨论】：
如果您正在寻找更高级的“防御”方法，我猜您已经有一个robots.txt。如果他们是友好的机器人，他们会让自己在user-agent 字符串中被发现，但如果不是，他们可能会称自己为internet explorer 并忽略你的robots.txt。我猜你仍然可以进行图灵测试......
你仍然可以在你的起始页上放置一些非常简单的谜题，以摆脱它们，我猜，但这也可能会疏远一些访问者。
以下是不同机器人用户代理的列表，如果您想了解一下： http://www.smart-it-consulting.com/internet/google/googlebot-spoofer/
【讨论】：