Python 和 urllib

Question

我正在尝试使用 urllib 从 ftp census 站点下载 zip 文件（“tl_2008_01001_edges.zip”）。我得到的 zip 文件是什么格式的，如何保存？

我对 Python 还很陌生，不明白 urllib 是如何工作的。

这是我的尝试：

import urllib, sys

zip_file = urllib.urlretrieve("ftp://ftp2.census.gov/geo/tiger/TIGER2008/01_ALABAMA/Autauga_County/", "tl_2008_01001_edges.zip")

如果我知道 ftp 文件夹列表（在这种情况下是县），我可以使用 glob 函数遍历 ftp site 列表吗？

谢谢。

Answer 1

使用urllib2.urlopen() 作为压缩文件数据和目录列表。

要使用 zipfile 模块处理 zip 文件，您可以将它们写入磁盘文件，然后将其传递给 zipfile.ZipFile 构造函数。 在返回的类文件对象上使用read() 可以直接检索数据 urllib2.urlopen().

获取目录：

>>> files = urllib2.urlopen('ftp://ftp2.census.gov/geo/tiger/TIGER2008/01_ALABAMA/').read().splitlines()
>>> for l in files[:4]: print l
... 
drwxrwsr-x    2 0        4009         4096 Nov 26  2008 01001_Autauga_County
drwxrwsr-x    2 0        4009         4096 Nov 26  2008 01003_Baldwin_County
drwxrwsr-x    2 0        4009         4096 Nov 26  2008 01005_Barbour_County
drwxrwsr-x    2 0        4009         4096 Nov 26  2008 01007_Bibb_County
>>> 

或者，拆分目录名称：

>>> for l in files[:4]: print l.split()[-1]
... 
01001_Autauga_County
01003_Baldwin_County
01005_Barbour_County
01007_Bibb_County

Answer 2

import os,urllib2
out=os.path.join("/tmp","test.zip")
url="ftp://ftp2.census.gov/geo/tiger/TIGER2008/01_ALABAMA/01001_Autauga_County/tl_2008_01001_edges.zip"
page=urllib2.urlopen(url)
open(out,"wb").write(page.read())

Answer 3

根据the docs，urlretrieve 将文件放入磁盘并返回一个元组(filename, headers)。所以urlretrieve返回时文件已经保存了。

您可以使用标准库的zipfile 模块打开和读取您检索到的 ZIP 文件。 glob 在 zipfile 中不起作用，只能在普通文件系统目录中使用。