Docker默认的网络环境下，单台主机上的Docker容器可以通过docker0网桥直接通信，而不同主机上的Docker容器之间只能通过在主机上做端口映射进行通信。这种端口映射方式对很多集群应用来说极不方便。如果能让Docker容器之间直接使用自己的IP地址进行通信，会解决很多问题。按实现原理可分别直接路由方式、桥接方式（如pipework）、Overlay隧道方式（如flannel、ovs+gre）等。
一、直接路由方式
通过在Docker主机上添加静态路由实现跨宿主机通信：
二、桥接方式Pipework
Pipework是一个简单易用的Docker容器网络配置工具。由200多行shell脚本实现。通过使用ip、brctl、ovs-vsctl等命令来为Docker容器配置自定义的网桥、网卡、路由等。
- 使用新建的br0网桥代替缺省的docker0网桥
- br0网桥与缺省的docker0网桥的区别：br0和主机eth0之间是veth pair
如图，不同容器之间的通信可以借助pipework这个工具给docker容器新建虚拟网卡并绑定IP桥接到br0
三、Overlay隧道方式--Flannel（Flannel + UDP 或者 Flannel + VxLAN推荐）
Flannel实现的容器的跨主机通信通过如下过程实现：
- 每个主机上安装并运行etcd（或其它分布式健值存储数据库）和flannel；
- 在etcd中规划配置所有主机的docker0子网范围；Flannel为每个主机自动分配独立的subnet，用户只需要指定一个大的IP池。不同subnet之间的路由信息也由Flannel自动生成和配置。
- 每个主机上的flanneld根据etcd中的配置，为本主机的docker0分配子网，保证所有主机上的docker0网段不重复，并将结果（即本主机上的docker0子网信息和本主机IP的对应关系）存入etcd库中，这样etcd库中就保存了所有主机上的docker子网信息和本主机IP的对应关系（相当于通过etcd服务维护了一张节点间的路由表）；
- 当需要与其他主机上的容器进行通信时，查找etcd数据库，找到目的容器的子网所对应的outip（目的宿主机的IP）；
- 将原始数据包封装在VXLAN或UDP数据包中，IP层以outip为目的IP进行封装；
- 由于目的IP是宿主机IP，因此路由是可达的：数据从源容器发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡（P2P虚拟网卡），flanneld服务监听在flannel0网卡的另一端，它将原本是数据内容封装后根据自己的路由表投递给目的节点的flanneld服务。
- VXLAN或UDP数据包到达目的宿主机解封装，解出原始数据包，最终到达目的容器。
PS：Flannel网络有两种模式：上述是一种overlay覆盖网络，而host-gw模式将主机作为网关，依赖于纯三层的ip转发；
缺点：不同Flannel网络中的容器可以直接通信，Flannel没有提供网络隔离。与外网通信需要通过bridge网络。
四、Overlay隧道方式--Weave
Weave网络也是一种overlay覆盖网络；
Weave自己负责在主机间交换网络配置信息，不需要etcd或consul这些数据库；
Weave默认配置下所有容器使用10.32.0.0/12的subnet，如果此地址空间与现有IP冲突，则可以通过--ipalloc-range分配特定的subnet。
Weave网络默认配置下所有容器在一个大的subnet中，可以自由通信。如果要实现网络隔离，需要为容器指定不同的subnet或IP；若要与外网通信，则需要将主机加入到weave网络，并把主机当作网关。
五、Overlay隧道方式--Calico
Calico是一个纯三层的方案，为虚机及容器提供多主机间通信，没有使用重叠网络（如flannel）驱动，采用虚拟路由代替虚拟交换，每一台虚拟路由器通过BGP协议传播可达信息（路由）到其他虚拟或物理路由器。
Calico通过IP Pool可以为每个主机定制自己的subnet。
Calico默认配置下只允许同一网络中的容器之间通信，但通过其强大的Policy能够实现几乎任意场景的访问控制。
calico包括如下重要组件：
- Felix：Calico agent，运行在每台workload节点。主要负责路由配置以及ACLS规则的配置以及下发，确保endpoint的连通状态。
- etcd：分布式键值存储，主要负责网络元数据一致性，确保Calico网络状态的准确性，可以与kubernetes共用；
- BGP Client：主要负责把Felix写入kernel的路由信息分发到当前Calico网络，确保workload间的通信的有效性；
- BGP Route Reflector：大规模部署时使用，摒弃所有节点互联的mesh模式，通过一个或者多个BGPRoute Reflector来完成集中式的路由分发。
如下图所示，描述了从源容器经过源宿主机，经过数据中心的路由，然后到达目的宿主机最后分配到目的容器的过程。
整个过程中始终都是根据iptables规则进行路由转发，并没有进行封包、解包的过程。而flannel在进行路由转发的基础上进行了封包解包的操作，浪费了CPU的计算资源。