【发布时间】:2012-01-25 18:57:57
【问题描述】:
我为爬虫设置了一个基本结构。现在我在一些 php 驱动的网站上发布了它,它就像一个魅力。虽然现在我想用它从 ajax 内容构建数据表。
目前我正在使用 Mechanize for PYTHON 和 perl 来构建我的爬虫。虽然 Mechanize 模块不执行 AJAX。我如何获得由异步 ajax 构建的内容?
我知道有一种叫做 Selenium 的东西,一个真正的自动化浏览器。但这是我唯一的选择吗?
【问题讨论】:
标签: python ajax web-scraping web-crawler