在我的网站上模拟爬虫

Question

我需要调试由 asp.net 编写的网络应用程序，以了解它在为 Googlebot 等爬虫程序呈现内容时的表现。我发现的第一件事是一些在线/离线工具，但它们都不能通过 Request.Browser.IsCrawler 标志。

然后我尝试模拟添加 Googlebot UserAgent 的手工请求，但仍然没有机会。

Answer 1

我在将 User-Agent 设置为 Googlebot 时使用了 Telerik Fidler 和 Chrome /2.1 (+http://www.googlebot.com/bot.html)，在 URI 中包含 _escaped_fragment_ 并成功地从爬虫的角度看到了页面。