网络编程之异步IO，rabbitMQ笔记

对于网络并发编程而言，多线程与多进程算是最常见的需求场景了。毕竟网站开放就是想要更多的流量访问的。

回顾

回顾下之前学过的关于线程，进程和协程的知识点

IO密集型任务--用多线程更好
计算密集型任务--用多进程更好

线程概念：计算机中工作的最小单元
进程：默认有主线程，可以有多线程共存，并共享内存资源。
协程：使用进程中的一个线程去做多个任务，微线程pypy
GIL:全局解释器锁，python特有，用于在进程中对所有线程加锁，保证同时只能有一个线程被CPU调度

一句话说明什么是协程：协程是一种用户态的轻量级线程。

协程的特点：协程能保留上一次调用时的状态（即所有局部状态的一个特定组合），每次过程重入时，就相当于进入上一次调用的状态，换种说法：进入上一次离开时所处逻辑流的位置。

那么符合什么条件我们可以称之为协程？
协程需要满足四个条件：

必须在只有一个单线程里实现并发
修改共享数据不需加锁
用户程序里自己保存多个控制流的上下文栈
一个协程遇到IO操作自动切换到其它协程

当然，协程也有自身的优缺点，这里不展开。

在python中，我们可以轻松通过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部，但它们被协作式地调度。

论事件驱动与异步

通常，我们写服务器处理模型的程序时，有以下几种模型：

（1）每收到一个请求，创建一个新的进程，来处理该请求；

（2）每收到一个请求，创建一个新的线程，来处理该请求；

（3）每收到一个请求，放入一个事件列表，让主进程通过非阻塞I/O方式来处理请求

上面的几种方式，各有千秋，

第（1）中方法，由于创建新的进程的开销比较大，所以，会导致服务器性能比较差,但实现比较简单。

第（2）种方式，由于要涉及到线程的同步，有可能会面临死锁等问题。

第（3）种方式，在写应用程序代码时，逻辑比前面两种都复杂。

综合考虑各方面因素，一般普遍认为第（3）种方式是大多数网络服务器采用的方式

事件驱动编程是一种编程范式，另两种常见的编程范式是单线程同步和多线程编程。这里程序执行流由外部事件决定，其特点是包含一个循环判断，当外部事件发生时使用回调函数处理事件。

事件驱动模型的优点在于，使程序员不必担心线程安全的问题，也可以实现线程间共享可变数据的问题。

异步IO

Python中的select模块专注于I/O多路复用，提供了select poll epoll三个方法(其中后两个在Linux中可用，windows仅支持select)，另外也提供了kqueue方法(freeBSD系统)

select模块

select的优点在于，跨平台支持良好。问题在于，select问题在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024；且select()所维护的存储大量文件描述符的数据结构，随着文件描述符数量的增大，其复制的开销也线性增长。

poll模块

poll和select本质上没有区别，区别在于没有最大文件描述符数量的限制。它的缺是点包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间，而不论这些文件描述符是否就绪，它的开销随着文件描述符数量的增加而线性增大。

epoll

epoll可同时支持水平触发和边缘触发，理论上边缘触发实现性能更高，但代码实现复杂。

epoll相对于select的改进有两点：

1.epoll同样只告知那些就绪的文件描述符，而且当我们调用epoll_wait()获得就绪文件描述符时，返回的不是实际的描述符，而是一个代表就绪描述符数量的值，这里使用了内存映射的技术，节省了文件描述符在系统调用时复制的开销。

2.另一个本质的改进在于epoll采用基于事件的就绪通知方式。epoll事先通过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便得到通知。

进程切换的概念

为了控制进程的执行，内核必须有能力挂起正在CPU上运行的进程，并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。因此可以说，任何进程都是在操作系统内核的支持下运行的，是与内核紧密相关的。

但进程切换十分消耗OS资源。对于进程流，会在请求系统未响应或是等待某种操作完成时，系统自动执行阻塞原语，使自己由运行状态转变为阻塞状态。

进程的阻塞是进程自身的一种主动行为，也因此只有处于运行态的进程（获得CPU），才可能将其转为阻塞状态。当进程进入阻塞状态，是不占用CPU资源的。

了解水平触发和边缘触发：

Level_triggered(水平触发，有时也称条件触发)：当被监控的文件描述符上有可读写事件发生时，epoll.poll()会通知处理程序去读写。如果这次没有把数据一次性全部读写完(如读写缓冲区太小)，那么下次调用 epoll.poll()时，它还会通知你在上没读写完的文件描述符上继续读写，当然如果你一直不去读写，它会一直通知你！！！如果系统中有大量你不需要读写的就绪文件描述符，而它们每次都会返回，这样会大大降低处理程序检索自己关心的就绪文件描述符的效率！！！优点很明显：稳定可靠

Edge_triggered(边缘触发，有时也称状态触发)：当被监控的文件描述符上有可读写事件发生时，epoll.poll()会通知处理程序去读写。如果这次没有把数据全部读写完(如读写缓冲区太小)，那么下次调用epoll.poll()时，它不会通知你，也就是它只会通知你一次，直到该文件描述符上出现第二次可读写事件才会通知你！！！这种模式比水平触发效率高，系统不会充斥大量你不关心的就绪文件描述符！！！缺点：某些条件下不可靠

epoll事件：

EPOLLIN    Available for read 可读   状态符为1
EPOLLOUT    Available for write 可写  状态符为4
EPOLLPRI    Urgent data for read
EPOLLERR    Error condition happened on the assoc. fd 发生错误 状态符为8
EPOLLHUP    Hang up happened on the assoc. fd 挂起状态
EPOLLET    Set Edge Trigger behavior, the default is Level Trigger behavior 默认为水平触发，设置该事件后则边缘触发
EPOLLONESHOT    Set one-shot behavior. After one event is pulled out, the fd is internally disabled
EPOLLRDNORM    Equivalent to EPOLLIN
EPOLLRDBAND    Priority data band can be read.
EPOLLWRNORM    Equivalent to EPOLLOUT
EPOLLWRBAND    Priority data may be written.
EPOLLMSG    Ignored.

Python select

python中的select方法直接调用系统的IO接口，它监控特定的文件句柄何时变成readable和writeable，或通信错误，select()使得监控多个连接变得简单。

RabbitMQ

rabbitMQ是消息队列；想想之前的我们学过队列queue：threading queue（线程queue，多个线程之间进行数据交互）、进程queue（父进程与子进程进行交互或者同属于同一父进程下的多个子进程进行交互）；如果两个独立的程序，那么之间是不能通过queue进行交互的,这时候我们就需要一个中间代理即rabbitMQ。一般用于Linux服务器

消息队列：

RabbitMQ
ZeroMQ
ActiveMQ
.......

工作原理：

网络编程之异步IO，rabbitMQ笔记

安装和使用

python安装rabbitMQ模块

pip install pika
or
easy_install pika
or
源码
   
https://pypi.python.org/pypi/pika

实例：最简单的通信队列实现

发送端

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#-Author-Lian
 
import pika
 
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
 
channel = connection.channel()      #声明一个管道(管道内发消息)
 
channel.queue_declare(queue='lzl')    #声明queue队列
 
channel.basic_publish(exchange='',
                      routing_key='lzl',  #routing_key 就是queue名
                      body='Hello World!'
)
print("Sent 'Hello,World!'")
connection.close()      #关闭

接收端

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#-Author-Lian
 
import pika
 
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
 
channel = connection.channel()
 
channel.queue_declare(queue='lzl')
 
def callback(ch,method,properties,body):
    print(ch,method,properties)
    #ch:<pika.adapters.blocking_connection.BlockingChannel object at 0x002E6C90>    管道内存对象地址
    #methon:<Basic.Deliver(['consumer_tag=ctag1.03d155a851b146f19cee393ff1a7ae38',   #具体信息
            # 'delivery_tag=1', 'exchange=', 'redelivered=False', 'routing_key=lzl'])>
    #properties:<BasicProperties>
    print("Received %r"%body)
 
channel.basic_consume(callback,     #如果收到消息，就调用callback函数处理消息
                      queue="lzl",
                      no_ack=True)   #接受到消息后不返回ack，无论本地是否处理完消息都会在队列中消失
print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()   #开始收消息

注：windows连linux上的rabbitMQ会出现报错，需要提供用户名密码

3、RabbitMQ消息分发轮询

先启动消息生产者，然后再分别启动3个消费者，通过生产者多发送几条消息，你会发现，这几条消息会被依次分配到各个消费者身上

网络编程之异步IO，rabbitMQ笔记

在这种模式下，RabbitMQ会默认把p发的消息公平的依次分发给各个消费者(c),跟负载均衡差不多

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#-Author-Lian

import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))

channel = connection.channel()      #声明一个管道(管道内发消息)

channel.queue_declare(queue='lzl')    #声明queue队列

channel.basic_publish(exchange='',
                      routing_key='lzl',  #routing_key 就是queue名
                      body='Hello World!'
)
print("Sent 'Hello,World!'")
connection.close()      #关闭

pubulish.py