如何爬取一个网站并对每个页面进行截图？答案

【问题标题】：How to crawl through a website and take screenshots of each page?如何爬取一个网站并对每个页面进行截图？
【发布时间】：2010-11-01 20:03:09
【问题描述】：

我的任务是为合法目的截取一组网页的屏幕截图。我目前正在通过使用Webshot 并使用我自己编译的 URL 列表运行其批处理操作来完成此操作。我还必须对使用 IECapt 及其延迟功能完成的旋转 Flash 横幅进行截图。

每个页面都有一系列广告，这些广告需要截取它们所指向的页面的屏幕截图。我怎样才能自动执行此操作，这样我就不会花费数小时点击链接后的每个链接？

如果不清楚，主页有 4 个辅助广告链接到 4 个不同的产品页面。我需要主页的屏幕截图（完成），然后是广告链接到的页面的四个不同屏幕截图。

哦，为了让事情变得有趣，主页使用 Javascript 重定向：

javascript:dcsOnsiteAdLink('url', '/whyjoin', 'ad', 'S1', 'popup', 'toolbar=yes,location=yes,directories=yes,status=yes,menubar=yes,scrollbars=yes,resizable=yes,width=780,height=500');

【问题讨论】：

标签： javascript automation screenshot webtrends

【解决方案1】：

通过 Elance 或 Mechanical Turk 支付 3 美元/小时的费用让某人为您做这件事。即使你只花 4 个小时来编写一个脚本，这也比付给某人几块钱的成本要高。

【讨论】：

这并不理想，因为作为开发人员，我可能正在管理一个有很多依赖项的站点，并且我希望能够快速发布。我建议尝试已经为这个或这个制作的许多 Casper 脚本之一：npmjs.com/package/crawl

【解决方案2】：

gnome-web-photo 使用 Geko 引擎来渲染和拍摄网页。它非常漂亮且可编写脚本。

【讨论】：

【解决方案3】：

Adobe Acrobat Pro 在这方面做得很好。它可以抓取整个站点并将其制成单个索引文档。屏幕截图只会让您了解屏幕上的内容，Acrobat Pro 可以让您了解整个页面。

【讨论】：