【发布时间】:2010-04-12 11:23:15
【问题描述】:
有人知道我在哪里可以得到一个免费的网络爬虫,它实际上只需要我编写最少的代码就可以工作吗?
我在 Google 上搜索过,只能找到无法使用的非常旧的或似乎无法使用的 openwebspider。
理想情况下,我只想存储网址和该页面包含的链接。
有什么建议吗?
【问题讨论】:
标签: web-crawler
有人知道我在哪里可以得到一个免费的网络爬虫,它实际上只需要我编写最少的代码就可以工作吗?
我在 Google 上搜索过,只能找到无法使用的非常旧的或似乎无法使用的 openwebspider。
理想情况下,我只想存储网址和该页面包含的链接。
有什么建议吗?
【问题讨论】:
标签: web-crawler
我建议从头开始写一个。您可以利用搜索爬虫所花费的时间来编写一个。
【讨论】: