本文将探讨股票量化交易软件,kubernetes中的网络模型,以及对各种网络模型进行分析。
底层网络UnderlayNetwork顾名思义是指网络设备基础设施,如交换机,路由器,DWDM使用网络介质将其链接成的物理网络拓扑,负责网络之间的数据包传输。
underlaynetwork可以是二层,也可以是三层;二层的典型例子是以太网Ethernet,三层是的典型例子是互联网Internet。
而工作于二层的技术是vlan,工作在三层的技术是由OSPF,BGP等协议组成。
在股票量化交易软件,kubernetes中,underlaynetwork中比较典型的例子是通过将宿主机作为路由器设备,Pod的网络则通过学习路由条目从而实现跨节点通讯。
这种模型下典型的有flannel的host-gw模式与calicoBGP模式。
flannelhost-gw模式中每个Node需要在同一个二层网络中,并将Node作为一个路由器,跨节点通讯将通过路由表方式进行,这样方式下将网络模拟成一个underlaynetwork。
Notes:因为是通过路由方式,集群的cidr至少要配置1因为这样可以保证,跨节点的Node作为一层网络,同节点的Pod作为一个网络。如果不是这种用情况,路由表处于相同的网络中,会存在网络不可达
BGP是去中心化自治路由协议。它是通过维护IP路由表或前缀表来实现AS之间的可访问性,属于向量路由协议。
与flannel不同的是,Calico提供了的BGP网络解决方案,在网络模型上,Calico与Flannelhost-gw是近似的,但在软件架构的实现上,flannel使用flanneld进程来维护路由信息;而Calico是包含多个守护进程的,其中Brid进程是一个BGP客户端与路由反射器,BGP客户端负责从Felix中获取路由并分发到其他BGPPeer,而反射器在BGP中起了优化的作用。在同一个IBGP中,BGP客户端仅需要和一个RR相连,这样减少了AS内部维护的大量的BGP连接。通常情况下,RR是真实的路由设备,而Bird作为BGP客户端工作。
IPVLAN和MACVLAN是一种网卡虚拟化技术,两者之间的区别为,IPVLAN允许一个物理网卡拥有多个IP地址,并且所有的虚拟接口用同一个MAC地址;而MACVLAN则是相反的,其允许同一个网卡拥有多个MAC地址,而虚拟出的网卡可以没有IP地址。
因为是网卡虚拟化技术,而不是网络虚拟化技术,本质上来说属于Overlaynetwork,这种方式在虚拟化环境中与Overlaynetwork相比最大的特点就是可以将Pod的网络拉平到Node网络同级,从而提供更高的性能、低延迟的网络接口。本质上来说其网络模型属于下中第二个。
虚拟网桥:创建一个虚拟网卡对,一头在容器内,一头在宿主机的rootnamespaces内。这样一来容器内发出的数据包可以通过网桥直接进入宿主机网络栈,而发往容器的数据包也可以经过网桥进入容器。多路复用:使用一个中间网络设备,暴露多个虚拟网卡接口,容器网卡都可以介入这个中间设备,并通过MAC/IP地址来区分packet应该发往哪个容器设备。硬件交换,为每个Pod分配一个虚拟网卡,这样一来,Pod与Pod之间的连接关系就会变得非常清晰,因为近乎物理机之间的通信基础。如今大多数网卡都支持SR-IOV功能,该功能将单一的物理网卡虚拟成多个VF接口,每个VF接口都有单独的虚拟PCIe通道,这些虚拟的PCIe通道共用物理网卡的PCIe通道。
在kubernetes中IPVLAN这种网络模型下典型的CNI有,multus与danm。
multus是intel开源的CNI方案,是由传统的cni与multus,并且提供了SR-IOVCNI插件使K8spod能够连接到SR-IOVVF。这是使用了IPVLAN/MACVLAN的功能。
当创建新的Pod后,SR-IOV插件开始工作。配置VF将被移动到新的CNI名称空间。该插件根据CNI配置文件中的“name”选项设置接口名称。最后将VF状态设置为UP。
下是一个Multus和SR-IOVCNI插件的网络环境,具有三个接口的pod。
eth0是flannel网络插件,也是作为Pod的默认网络VF是主机的物理端口ens2f0的实例化。这是英特尔X710-DA4上的一个端口。在Pod端的VF接口名称为south0。这个VF使用了DPDK驱动程序,此VF是从主机的物理端口ens2f1实例化出的。这个是英特尔®X710-DA4上另外一个端口。Pod内的VF接口名称为north0。该接口绑定到DPDK驱动程序vfio-pci。
Notes:术语NIC:networkinterfacecard,网卡SR-IOV:singlerootI/Ovirtualization,硬件实现的功能,允许各虚拟机间共享PCIe设备。VF:VirtualFunction,基于PF,与PF或者其他VF共享一个物理资源。PF:PCIePhysicalFunction,拥有完全控制PCIe资源的能力DPDK:DataPlaneDevelopmentKit
于此也可以将主机接口直接移动到Pod的网络名称空间,当然这个接口是必须存在,并且不能是与默认网络使用同一个接口。这种情况下,在普通网卡的环境中,就直接将Pod网络与Node网络处于同一个平面内了。
DANM是诺基亚开源的CNI项目,目的是将电信级网络引入kubernetes中,与multus相同的是,也提供了SR-IOV/DPDK的硬件技术,并且支持IPVLAN.
什么是Overlay
常见的网络隧道技术
通用路由封装用于将来自IPv4/IPv6的数据包封装为另一个协议的数据包中,通常工作与L3网络层中。VxLAN,是一个简单的隧道协议,本质上是将L2的以太网帧封装为L4中UDP数据包的方法,使用4789作为默认端口。VxLAN也是VLAN的扩展,对于4096扩展为1600万个逻辑网络。
这种工作在overlay模型下典型的有flannel与calico中的的VxLAN,IPIP模式。
IPinIP也是一种隧道协议,与VxLAN类似的是,IPIP的实现也是通过Linux内核功能进行的封装。IPIP需要内核模块ipip.ko使用命令查看内核是否加载IPIP模块lsmod|grepipip;使用命令modprobeipip加载。
Kubernetes中IPIP与VxLAN类似,也是通过网络隧道技术实现的。与VxLAN差别就是,VxLAN本质上是一个UDP包,而IPIP则是将包封装在本身的报文包上。
Notes:公有云可能不允许IPIP流量,例如Azure
kubernetes中不管是flannel还是calicoVxLAN的实现都是使用Linux内核功能进行的封装,Linux对vxlan协议的支持时间并不久,2012年StephenHemminger才把相关的工作合并到kernel中,并最终出现在kernel0版本。为了稳定性和很多的功能,你可以会看到某些软件推荐在0或者0以后版本的kernel上使用VxLAN。
在kubernetes中vxlan网络,例如flannel,守护进程会根据kubernetes的Node而维护VxLAN,名称为flannel.1这是VNID,并维护这个网络的路由,当发生跨节点的流量时,本地会维护对端VxLAN设备的MAC地址,通过这个地址可以知道发送的目的端,这样就可以封包发送到对端,收到包的对端VxLAN设备flannel.1解包后得到真实的目的地址。
查看Forwardingdatabase列表
$ bridge fdb
26:5e:87:90:91:fc dev flannel.1 dst 10.0.0.3 self permanent
Notes:VxLAN使用的4789端口,wireshark应该是根据端口进行分析协议的,而flannel在linux中默认端口是847此时抓包仅能看到是一个UDP包。
通过上述的架构可以看出,隧道实际上是一个抽象的概念,并不是建立的真实的两端的隧道,而是通过将数据包封装成另一个数据包,通过物理设备传输后,经由相同的设备进行解包实现网络的叠加。
weave也是使用了VxLAN技术完成的包的封装,这个技术在weave中称之为fastdp,与calico和flannel中用到的技术不同的,这里使用的是Linux内核中的openvswitchdatapathmodule,并且weave对网络流量进行了加密。
Notes:fastdp工作在Linux内核版本12及更高版本,如果低于此版本的例如CentOSweave将工作在用户空间,weave中称之为sleevemode
文章为作者独立观点,不代表 股票程序化软件自动交易接口观点