【发布时间】：2011-12-16 17:20:47
【问题描述】：
所以我的问题其实很简单：
如果我输入webclient.setCssEnables(false)，那么它应该工作得更快，对吧？但谷歌会认为它是在伪装吗？ （如果您不知道隐藏是什么，隐藏是向用户显示您将向 Google 机器人或任何其他机器人显示的不同内容）
【问题讨论】：
标签： ajax google-app-engine gwt htmlunit web-crawler
【发布时间】：2011-12-16 17:20:47
【问题描述】：
HtmlUnit 是一个网络浏览器。为什么 Google 会关心您在 Web 浏览器中启用或禁用 CSS？在 HtmlUnit 中启用 CSS 不会改变 Web 服务器所服务的内容。
【讨论】：
-
他可能正在使用 HtmlUnit 创建 HTML 快照，使 AJAX 可抓取：code.google.com/web/ajaxcrawling/docs/html-snapshot.html。