可扩展但简单的网络解决方案的发展在DigitalOcean，我们为客户提供的解决方案的简单性而自豪。这也适用于我们的网络产品。在撰写本文时，每个液滴都是用一个公共接口创建的，它有一个v4地址（或可选的v6地址），可以在internet上公开路由。两者之间没有像NAT网关那样的层。这就产生了一个简单的用户体验，这使客户能够访问他们自己的水滴。那个网络的简单性也转化为底层数据中心的设计。一旦发送到Droplet公共地址的数据包到达DigitalOcean的数据中心，它们将直接切换到虚拟机监控程序，并通过虚拟机监控程序（Open vSwitch）上运行的虚拟交换机发送到Droplet网络堆栈。反向路径的工作原理与hypervisor虚拟交换机相似，它从液滴中获取数据包，并将它们从第二层网络传输到核心基础设施多年来，我们已经进行了扩展，然而，这个简单的模型开始在部署和管理网络基础设施的过程中带来性能和可靠性方面的挑战–从IPv4地址的稀缺到第二层的可扩展性限制网络。之后我们花了将近两年的时间反复研究，很高兴与大家分享我们解决这些挑战的方案，以及部署新网络模型的各个阶段。这篇文章将探讨我们成长中的烦恼，我们是如何应对的，以及在这期间所取得的成就旅途。早Days：缩放问题如果你看一下我们最流行的全球区域之一（如TOR1）的网络设计，你会看到一个简单的CLOS结构，其中Droplet的默认网关驻留在核心交换机上，而spine/leaf层（包括hypervisor）作为一个简单的访问层进行操作。这种设计相对容易部署、配置和集成，这在DigitalOcean早期运营的规模上非常合理天。但是这个设计有很多shortcomings:性能：当虚拟机监控程序或核心不知道数据包的目标时，当它需要发现包的目的地时，它将做任何端点在第二层域上所做的事情。它将广播一个地址解析请求（对IPv4使用ARP）。这意味着在大范围内，网络将开始因大量广播流量或未知流量而拥塞单播。故障排除：由于广播域中涉及的端点数量太多，广播流量使故障排除变得更加困难，让我们成为众所周知的干草堆。硬件限制：每个硬件交换机都有有限的内存空间，专门用于存储每个广播域的MAC条目。在我们最受欢迎的地区，我们的运营非常接近我们网络的物理限制装备。很大故障域：即使我们运行冗余的基础设施，由于blast radius跨越整个数据，单个核心交换机的故障也可能导致严重的停机，这是由于第2层故障切换协议的工作方式中心。效率低下基础设施利用：第二层的即插即用特性意味着网络设备必须实现相当于生成树协议的功能，以避免网络循环。避免网络环路意味着并非所有的链路和基础设施设备都可以或将用于一次。配置错误：随着要配置的VLAN数量的增加，深度学习数据集，随着它。一个解决这些可伸缩性问题的方法是水平复制每个数据中心布局（也称为第2层区域），这是我们在最大的数据中心（如FRA1或NYC3）中所做的。但是这种扩展机制确实引入了一个更微妙的问题，即如何有效地利用公共路由的IPv4地址，这类地址既稀缺又昂贵。多年来，随着我们在全球范围内的扩张，DigitalOcean购买了许多相邻区块，但由于物理硬件的限制，这些区块一旦被分配到指定的第2层区域，就无法在各个区域内充分利用这些区块。结果，一旦约束受到影响，并且由于第二层的工作方式，这些IP就会搁浅。这意味着它们不能被主动分配和分配给在具有可用计算能力的数据中心区域中创建的液滴。从历史上看，解决这个问题的办法是购买更多的IP和/或增加更多的区域，这两个都非常重要很贵的。那个我们的解决方案之旅在保持虚拟机的移动性和灵活性的同时解决可扩展性挑战的常见行业实践是虚拟化网络。这是通过将逻辑通信量（液滴）与物理通信量（hypervisor）分离来实现的，这通常被称为overlay/underlay分割。底层流量在路由IP结构上运行（其数据包通过所选的任何路由协议（通常是BGP）转发），而覆盖流量运行在所谓的SDN结构上，SDN结构可以使用各种协议来向虚拟机和从虚拟机分发数据包。SDN解决方案中的协议因各种因素而变化很大，例如是否封装受雇。我们为了选择SDN解决方案和物理底层的集成策略，游戏返利平台，DigitalOcean考虑了许多因素。在整个评估过程中，我们意识到，无论是开源还是商业化的交钥匙解决方案都不能使我们保持较低的总体拥有成本（TCO），同时将旧机器提升和转移到新机器过程中对客户的影响降到最低。例如，VXLAN封装（以及基于EVPN的解决方案）是不可能的，因为我们的hypervisor集群中有相当一部分无法卸载VXLAN硬件，而且更换这些nic所涉及的运营成本也很高。隧道带来的惩罚是毁灭性的，因为软件中的封装/解封导致vCPU内核烧毁，以及线速率速度的损失。如果没有路由摘要来规避叶/棘中路由表的硬件限制，就不可能运行到主机的纯L3路由。在不彻底检查计算调度层和/或重新组织现有客户的情况下，南京大数据，路由摘要也是不可能的工作量。之后有意义的分析，啊哈！令人震惊的一刻：将标签交换（即MPLS）与BGP等第三层协议结合使用，使我们能够解决结构中的硬件限制问题，同时为我们的公共液滴网络实现路由解决方案。从那以后，故事的其余部分基本上都很顺利。每个dropletv4（和v6地址）在从hypervisor进出时，都作为BGP路由从定制的分布式SDN控制器进入underlay结构。对于这个编排层，我们充分利用了开源的力量：BIRD、GoBGP和OVS.带这是一项涉及多个团队、跨越多年的努力，物联网城市，我们现在正处于将公共水滴网络扩展到新极限的旅程的最后阶段。简单地说，我们把第二层设计变成了第三层设计。舰队中的每个hypervisor现在都充当Droplet的默认网关。然后，数据包一步一步地从核心通过spine和leaf层转发到hypervisor（而不是在layer-2上切换）。例如，考虑到网络设备必须处理的广播和未知单播通信量的急剧减少，总体CPU消耗变得更加稳定并大大减少。下面的图片显示了切换到第三层之前和之后NYC1中一个核心交换机的CPU百分比。如果您有兴趣了解更多关于解决方案的复杂细节，本OVSCon 2019演示文稿将更深入地介绍为实现这一目标而采取的步骤过渡。最终在过去一年半的时间里，我们一直在考虑在整个舰队部署第三层。这篇文章只探索了冰山一角。今天，以下区域启用了第三层：TOR1、BLR1、NYC1。整个2020年，企业软件正版化，将有更多地区跟进。作为一个工程团队，我们面临的最大挑战是在对客户的干扰最小的情况下完成架构转换。但这次体验的总体成功（尽管并非没有停顿）是一个非凡的里程碑，证明了我们有资源和专业知识来部署非常复杂和创新的解决方案！这种转变对我们的客户还有什么意义？您将继续获得一流的人际网络体验应用程序。相关博客文章Digital Ocean的旅程从TechStars拒绝到云托管Darling Digital Ocean网络的新功能零接触配置：如何在不接触任何浮动IP的情况下构建网络：开始构建高可用性应用构建下一代数字海洋网络自动化通过浮动IP发送出站流量