【问题标题】:How can i grab some photos with python from website我如何从网站上用 python 抓取一些照片
【发布时间】:2012-11-08 04:53:05
【问题描述】:

我需要从网站上收集用户的个人资料照片。 我知道 python 和 django,但不知道我该怎么做。

有人可以指导我如何制作 python 程序,以便我可以列出它只在他们的网站上说的网站,而不是任何外部链接,并检查该域中的每个页面。

编辑:假设我想在 stackoverflow 中收集所有用户的缩略图。前提是我们没有任何所有用户页面并通过。我想浏览所有问题页面,然后在那里抓取照片并使用用户 ID 保存到 hardidsk,这样我们就不会覆盖

【问题讨论】:

  • 如果您知道图片的 URL,则将它们作为文件打开,并将 writeread 放入本地文件中。完成

标签: python database web-scraping


【解决方案1】:
with open("some_png.png","wb") as f:
     f.write(urllib2.urlopen("http://icons-search.com/img/yellowicon/TMNT_lin.zip/lin-png-256x256-Leonardo_256x256.png-256x256.png").read())

要查找您需要使用scrappy(或类似框架)的图片网址

有几个关于将它用作蜘蛛的教程(例如http://doc.scrapy.org/en/latest/intro/tutorial.html

【讨论】:

  • 我想我没有完全解释清楚。假设我想在 stackoverflow 中收集所有用户的缩略图。前提是我们没有任何所有用户页面并通过。我想浏览所有问题页面,然后在那里抓取照片并使用用户 ID 保存到 hardidsk,这样我们就不会覆盖
  • 那你就需要使用 scrappy 之类的东西来抓取页面的数据了……有几个关于使用 scrappy 的教程……
  • 我尝试了 scrapy 页面,但我无法下载最新的 pdf 文档。当我下载它时,它显示为 0.15.1。你能看一下吗
  • 只需使用教程开始...您的权利看起来像 pdf 下载已损坏...但网络文档很好...
猜你喜欢
  • 1970-01-01
  • 2018-09-01
  • 1970-01-01
  • 2017-11-26
  • 1970-01-01
  • 2017-02-13
  • 2016-04-06
  • 2013-12-05
  • 1970-01-01
相关资源
最近更新 更多