爬取知乎上的热门话题，获取话题的问题、作者、答案，然后保存在TXT文本中
import requests
from pyquery import PyQuery
url = 'https://www.zhihu.com/explore'
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/58.0.3029.110 Safari/537.36'
}
html = requests.get(url, headers=headers).text
doc = PyQuery(html)
# 选择class="explore-tab"的内部class="feed-item"的所有节点，再遍历每一个元素（每个元素就是一个热门话题）
items = doc('.explore-tab .feed-item').items()
for item in items:
# 找到'h2'节点，获取知乎上热门话题的问题
question = item.find('h2').text()
# 选择class="author-link-line"的所有节点，获取文本值
author = item.find('.author-link-line').text()
# 找到属性值为content的节点，获取其内部文本值，再通过PyQuery()方法初始化获取文本信息
answer = PyQuery(item.find('.content').html()).text()
file = open('explore.txt', 'a', encoding='utf-8')
file.write('\n'.join([question, author, answer]))
file.write('\n' + '=' * 50 + '\n')
file.close()
运行结果生成一个TXT文件
JSON 文件存储
读取 JSON
调用JSON库的loads()方法将JSON文本字符串转为JSON对象
import json
# 注意：JSON数据需要用双引号来包围，不能用单引号。
string = '''
[
{
"name": "Lee Hua",
"gender": "male",
"birthday": "1997-10-25"
},
{
"name": "Li Hua",
"gender": "female",
"birthday": "1998-10-25"
}
]
'''
print(type(string), string, sep='\n')
data = json.loads(string)
print(type(data), data, sep='\n')
# 输出：
<class 'str'>
[
{
"name": "Lee Hua",
"gender": "male",
"birthday": "1997-10-25"
},
{
"name": "Li Hua",
"gender": "female",
"birthday": "1998-10-25"
}
]
<class 'list'>
[{'name': 'Lee Hua', 'gender': 'male', 'birthday': '1997-10-25'}, {'name': 'Li Hua', 'gender': 'female', 'birthday': '1998-10-25'}]
输出 JSON
通过dumps()方法将JSON对象转为文本字符串。
import json
data = [
{
"name": "Lee Hua",
"gender": "male",
"birthday": "1997-10-25"
},
{
"name": "李 华",
"gender": "男",
"birthday": "1998-10-25"
}
]
with open('data.json', 'w') as file:
file.write(json.dumps(data, indent=2))
# 如果不存在data.json文件，运行结果则生成一个名为data.json的文件
# data.json文件内写入的内容:
[
{
"name": "Lee Hua",
"gender": "male",
"birthday": "1997-10-25"
},
{
"name": "\u674e \u534e",
"gender": "\u7537",
"birthday": "1998-10-25"
}
]
# file.write(json.dumps(data, indent=2))中， indent参数代表缩进字符个数。
# 如果想要再写入的data.json文件中显示写入的中文，那么file.write(json.dumps(data, indent=2, ensure_ascii=False))即可
CSV 文件存储
csv.writer()和csv.DictWriter()方法
import csv
with open('data.csv', 'w') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['id', 'name', 'age'])
writer.writerow(['10001', 'Li Hua', '18'])
writer.writerow(['10002', 'Lee Hua', '19'])
writer.writerow(['10003', 'liyihua', '20'])
# 上面的内容也可以这样写入
# writer = csv.writer(csvfile)
# writer.writerow(['id', 'name', 'age'])
# writer.writerow(
# [
# ['10001', 'Li Hua', '18'],
# ['10002', 'Lee Hua', '19'],
# ['10003', 'liyihua', '20']
# ]
# )
# 上面内容还可以这样写入
# field_names = ['id', 'name', 'age']
# writer = csv.DictWriter(csvfile, fieldnames=field_names)
# writer.writerow({'id': '10001', 'name': 'Li Hua', 'age': '18'})
# writer.writerow({'id': '10002', 'name': 'Lee Hua', 'age': '19'})
# writer.writerow({'id': '10003', 'name': 'liyihua', 'age': '20'})
# 运行结果：生成一个data.csv文件，文件内容如下
id,name,age
10001,Li Hua,18
10002,Lee Hua,19
10003,liyihua,20
# 想修改行与列之间的分隔符，可以传入参数delimiter参数，writer = csv.writer(csvfile, delimiter='分隔符')
# 如果想要追加写入的话，可以修改文件的打开模式，即将open()函数的第二个参数改成a。如：open('file', 'a')
# 写入时有时候会遇到编码错误问题，此时只要给open()函数指定编码形式就可以了。如：open('file', 'r', encoding='utf-8')