python27爬虫

在python27中，首先需要在第一行定义编码：

# _*_ coding:utf-8 _*_

 

导入urllib2，访问百度网站，若设置访问超时的话，网络不稳定会造成访问超时

python2中print不需要加括号

response = urllib2.urlopen("http://www.baidu.com")
print response

打印出的结果是一个类文件对象：fileobject

<addinfourl at 49663496L whose fp = <socket._fileobject object at 0x0000000002B0B228>>

使用文件操作对文件进行解析（read，write）

print response.read()

由于有不同的需求，所以对不同的打印方式也不同

print response.read()

read返回的是字符串，将整个网页当成字符串

print response.readline()

readline()返回的是一行，只能显示第一行数据

若要显示所有数据就要使用死循环

print response.readlines()

readlines()返回的是一个列表

若想得到数据，使用遍历的方式