【问题标题】:Web crawler needed [closed]需要网络爬虫[关闭]
【发布时间】:2010-04-12 11:23:15
【问题描述】:

有人知道我在哪里可以得到一个免费的网络爬虫,它实际上只需要我编写最少的代码就可以工作吗?

我在 Google 上搜索过,只能找到无法使用的非常旧的或似乎无法使用的 openwebspider。

理想情况下,我只想存储网址和该页面包含的链接。

有什么建议吗?

【问题讨论】:

    标签: web-crawler


    【解决方案1】:

    我建议从头开始写一个。您可以利用搜索爬虫所花费的时间来编写一个。

    【讨论】:

    • +1。我不认为在这个(任何?)领域有最小的编码,因为每个网络爬虫都有细微的不同。
    • 我不认为我有编码能力,我只有一点c ++经验,我需要让它在最多三天内开始爬行,所以我没有时间。
    • 现在写我自己的爬虫,希望能成功
    • @nighcoder1:不错的选择。它一定会起作用,因为如果您对其中的任何部分有任何疑问,社区将很乐意为您提供帮助。一切顺利:)
    猜你喜欢
    • 2011-07-07
    • 1970-01-01
    • 2023-04-01
    • 1970-01-01
    • 1970-01-01
    • 2011-05-15
    • 1970-01-01
    • 2015-03-01
    • 2015-07-18
    相关资源
    最近更新 更多