【发布时间】:2013-02-13 03:21:51
【问题描述】:
我正在尝试从使用 ajax 和会话以及 POST 变量进行数据导航和显示的 asp、jsp 站点中抓取数据。我已经阅读了各种文章和 SO 进行数据抓取,但没有太大帮助我解析了一些带有修改标题的网站,但大多数网站都显示了我的自定义标题的标题重定向。从启用了 javascript 的站点和具有 viewstate 变量的 asp 站点解析数据的正确方法是什么。
【问题讨论】:
标签: parsing web-scraping
我正在尝试从使用 ajax 和会话以及 POST 变量进行数据导航和显示的 asp、jsp 站点中抓取数据。我已经阅读了各种文章和 SO 进行数据抓取,但没有太大帮助我解析了一些带有修改标题的网站,但大多数网站都显示了我的自定义标题的标题重定向。从启用了 javascript 的站点和具有 viewstate 变量的 asp 站点解析数据的正确方法是什么。
【问题讨论】:
标签: parsing web-scraping
如果你想学习网络爬虫,我建议你阅读那本书
Webbots, Spiders, and Screen Scrapers: A Guide to Developing Internet Agents with PHP/CURL
这确实是唯一一本专为 php 开发人员编写的网络爬虫专用书,但我认为这本书所教的基础知识将帮助任何开发人员了解网络机器人的工作原理
我还通过电子邮件向作者发送了一些问题,他在几分钟内回复了我 真的,我强烈建议任何想了解网络抓取的人阅读该书
【讨论】: