爬取西刺网代理ip，并把其存放mysql数据库

需求：

　　获取西刺网代理ip信息，包括ip地址、端口号、ip类型

　　西刺网：http://www.xicidaili.com/nn/

那，如何解决这个问题？

　　分析页面结构和url设计得知：

　　　　数据都在本页面可以全部获取，没有单独的详情页面

　　　　下一页通过更改当前页面最后url后缀进行跳转页面，那我实现URL的拼接不就解决这个问题了

那，软件的运行环境？

　　　　python3.5

　　　　scrapy

　　　　twisted

　　　　request

　　　　pymysql

　　以上是第三方包，通过pip安装

　　MySQL服务

其中db，user，password的值根据实际情况而定

#!/usr/bin/python3

__author__ = \'beimenchuixue\'
__blog__ = \'http://www.cnblogs.com/2bjiujiu/\'

import requests
import pymysql
from time import sleep
from random import randint, choice
from scrapy.selector import Selector
from twisted.enterprise import adbapi
from twisted.internet import reactor

# 数据库基本配置, 自行配置
db_settings = {
    \'host\': \'localhost\',
    \'db\': \'db_name\',
    \'user\': \'user_name\',
    \'password\': \'password\',
    \'charset\': \'utf8\',
    \'use_unicode\': True
}
# conn = pymysql.connect(**db_settings)
# cursor = conn.cursor()

# 生成连接池
db_conn = adbapi.ConnectionPool(\'pymysql\', **db_settings)


def go_sleep():
    """进行随机io堵塞，模仿人访问"""
    while randint(0, 1):
        sleep(choice([0.1, 0.2, 0.3, 0.4, 0.5, 0.6]))


def get_sql(ip, port, ip_type):
    """获得sql语句"""
    if ip and port and ip_type:
        sql = """insert into
              ip_server(ip, port, ip_type)
               value (%s, %s, %s)
              on DUPLICATE key update ip=values(ip), port=values(port), ip_type=values(ip_type)"""
        try:
            params = (ip, int(port), ip_type)
        except Exception as e:
            print(e)
            return None
        return sql, params
    else:
        return None


def go_insert(cursor, sql, params):
    """数据库插入操作"""
    try:
        cursor.execute(sql, params)
    except Exception as e:
        print(e)


def get_ip():
    """爬取ip信息并存入数据库"""
    # 设置请求头
    headers = {
        \'Referer\': \'http://www.xicidaili.com/nn/\',
        \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36\'
    }
    # 获取50页的数据
    for page in range(1, 50):
        # 建立关系映射，增加程序可阅读性
        ip_index, port_index, type_index = 2, 3, 6
        # 爬取的url
        url = \'http://www.xicidaili.com/nn/{page}\'.format(page=page)
        
        go_sleep()
        
        response = requests.get(url, headers=headers)
        # 打印状态码
        print(response.status_code)
        # 进行页面解析
        selectors = Selector(text=response.text)
        all_trs = selectors.css(\'#ip_list .odd\')
        for tr in all_trs:
            ip = tr.css(\'td:nth-child(%s)::text\' % ip_index).extract_first()
            port = tr.css(\'td:nth-child(%s)::text\' % port_index).extract_first()
            ip_type = tr.css(\'td:nth-child(%s)::text\' % type_index).extract_first()
            sql, params = get_sql(ip, port, ip_type)
            if sql:
                try:
                    # cursor.execute(sql, params)
                    # conn.commit()
                    # 执行sql操作
                    db_conn.runInteraction(go_insert, sql, params)
    
                except Exception as e:
                    print(e)
            else:
                break

if __name__ == \'__main__\':
    get_ip()
    # 让twisted的sql操作去完成
    reactor.callLater(4, reactor.stop)
    reactor.run()