爬取中国天气网获取全国城市编码并存入mysql数据库

简单的记录一个小demo，利用中国天气网文字版本获取全国城市编码并存入mysql数据库中。

分析

首先观察发现，中国天气网文字版按地区分成8个部分。

对应的url简单的用缩写表示：‘hb’, ‘db’, ‘hd’, ‘hz’, ‘hn’, ‘xb’, ‘xn’, ‘gat’

检查网页源代码，查看标签情况，找到我们需要的城市编码。
再折叠起来查看标签大体情况。

以华北为例，可以发现，其下总共有5个省/直辖市，分别是北京，天津，河北，山西，内蒙古，在 div class=“conMidtab” 标签下，每一个省对应一个 div class=“conMidtab2” 标签。
展开：

可以发现我们需要的城市编码以及城市都存储在 td width=“83” height=“23” 中，接下来可以利用下path，beautifsoup4，正则进行提取，这里我选择正则。
到此分析的已经差不多了，但是这里需要注意的是： 单单提取这个标签的确可以拿到我们需要的内容，但是如下图所示，一个页面中包含了7天的预测信息，有6天是隐藏的，要进行过滤，不然就相当于获得了重复了7次的城市编码。

代码展示

import re
import requests
import pymysql

# 定制请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
}
# 用列表存储爬取下来编码和城市名
cites_codes = []

# 爬取解析一个网页的函数
def parse_url(url):
    response = requests.get(url, headers=headers)
    text = response.content.decode('utf-8')
    # 先滤去后面六个，只留下第一个
    info = re.findall(
        r'<div class="conMidtab">.*?<div class="conMidtab" style="display:none;">',text,re.DOTALL)[0]
    # 获得我们要的信息
    infos = re.findall(
        r'<td width="83" height="23".*?<a .*?weather/(.*?)\.s.*?>(.*?)</a>', info, re.DOTALL)
    # 获取的信息遍历存入列表
    for i in infos:
        city_code = [i[1],i[0]]
        cites_codes.append(city_code)

# 存储到数据库函数
def store_2_mysql():
    # 连接数据库
    conn = pymysql.connect(host='localhost', user='root',
                           password='712688', database='test_demo', port=3306)
    cursor = conn.cursor()
    # 遍历列表存入数据库
    for i in cites_codes:
        sql = '''
            insert into city_code values(0,'%s','%s')''' % (i[0], i[1])
        cursor.execute(sql)
    # 提交
    conn.commit()
    conn.close()

# 主函数遍历全部八个地区
def main():
    base_url = 'http://www.weather.com.cn/textFC/{}.shtml'
    cites = ['hb', 'db', 'hd', 'hz', 'hn', 'xb', 'xn', 'gat']
    # 获得每个地区的url
    for i in cites:
        url = base_url.format(i) 
        # 开始爬取一个地区的信息
        parse_url(url)
    # 存储到数据库中
    store_2_mysql()


if __name__ == '__main__':
    main()

查看数据库中存储情况：