搜索引擎机器人 - 爬虫 - 蜘蛛 - 等是否有 javascript？答案

【问题标题】：Do search engine bots - crawlers - spiders - etc. have javascript in them?搜索引擎机器人 - 爬虫 - 蜘蛛 - 等是否有 javascript？
【发布时间】：2013-05-07 08:51:11
【问题描述】：

我不知道搜索引擎机器人是如何工作的，我浏览器记录中机器人的数据库条目是Googlebot、msnbot、BingBot 等

所以我不知道他们是否启用了 javascript 或其他功能。

为什么我想知道他们是否启用了 javascript？因为我想在我的网站上要求 Javascript。我所做的是，我有一个“覆盖”div，其中包含一条短消息，我在页面加载时使用 javascript 将其设置为“display:none”。因此，如果没有 Javascript，则覆盖不会消失，并且网站中的任何内容都不可点击或任何内容。

那么即使我做了 Javascript 要求，机器人仍然可以抓取我的网站吗？因为我希望 google 和其他优秀的机器人能够抓取我的网站。

【问题讨论】：

是的。他们看不到该网站。他们解析 html 内容。是的，他们有可能通过 javascript 文件模拟真实用户。

标签： javascript web-crawler robot

【解决方案1】：

是的，自 2010 年以来，至少 googlebot 以理解不是在（某些）javascript 中创建的直接链接而闻名，但它们不需要您的 javascript 来读取链接，因为这些链接在 html 中是显而易见的。关闭 javascript 浏览的人也是如此。

【讨论】：

确实，机器人不会看到阻止页面其余部分的弹出窗口。他们只看到 html。

【解决方案2】：

搜索机器人可以并且会抓取您的网站，但它们不理解 JavaScript，因此它们会忽略任何 JS。但是，他们在抓取您描述的页面时应该没有问题。

【讨论】：

你应该提到一些机器人开始执行一些JavaScript，但这绝不是标准
事实上，Google-bot 非常擅长“运行”JS 代码！
@Walialu 根据我的个人经验，Google 一直无法解析我网站上的 JS。
您认为上述页面会在 SEO 和可信度方面受到惩罚吗？
@AppleDash google-bot 总是能够“运行”我的 JavaScript 代码。这很容易测试，因为我根据屏幕大小附加了具有不同背景图像等的不同 CSS 样式。已按 google-bot 的预期执行；)

【解决方案3】：

据我所知，搜索引擎可以解析识别不同内容和行为的内容。他们还可以惩罚特定的隐藏内容。我怀疑 Google 是一个非常聪明的搜索引擎，能够识别一些 javascript，但我们不知道他们系统的内部行为。

【讨论】：

我上面做的要求 JS 归类为“隐藏内容”的技巧会不会？
只要您用于功能用途就可以。只是不要用很多关键字来填充隐藏的内容。