在我的岗位上，我有幸每天会见多个企业客户和潜在客户，讨论他们与混合环境的管理和控制（或缺乏）相关的挑战和痛苦。我听到的第一大挑战是云成本优化，不管他们是刚接触公共云还是"云老手"，几乎每个组织都承认他们的云账单超出了他们的预期，他们所有的优化尝试都没有达到预期的效果。然而，有时，在我们讨论了我们的平台能力之后，有些人会声称他们"可以做Turbonic所做的"，当我问他们为什么到现在还没有这样做时，典型的答案是"我们只需要更多的时间/人员/电子表格/咖啡"。可悲的现实是，我们（人类）无法大规模优化云成本。无论你分配多少人参与这项工作，结果都无法与基于人工智能的强大平台相匹配。是的，人类可以在小规模上进行成本优化，例如，当云上运行着少数或十几个工作负载时，但是随着云足迹的增长，他们将失去控制。不要让任何人愚弄你，优化云计算成本是困难和复杂的。在这篇博文中，我将分享我对云成本优化超越人类规模的主要原因。在开始之前，让我们从优化云成本的常用方法开始：调整大小（计算和存储）长期承诺（即保留实例（RIs））停止/删除（空闲或不需要的资源）表面上看，国内大数据公司排名，每一种方法都很简单，但一旦你开始深入研究每种方法，并了解为了充分利用每种方法所真正需要的东西，再加上每件事都必须不断地进行，那么也许你就会理解我上面大胆陈述背后的理由。1–有效的调整规模需要复杂的分析要真正优化云工作负载，最重要的是确保将工作负载计算调整到最经济高效的大小，同时避免性能风险。当将工作负载扩展到一个新的实例类型/VM大小时，您需要确保所有工作负载的计算（Mem、CPU）、存储（IOPS）和网络吞吐量指标（包括它们的峰值和平均值）。在调整工作负载大小时，必须考虑工作负载的历史峰值，并应用行业标准，如在合理的情况下使用不同级别的峰值百分比。例如，对于非生产/开发工作负载，考虑更积极地调整到第90个峰值百分比，大数据发展前景，同时对生产工作负载应用更保守的第95个或绝对大小（例如100%）。您还需要考虑调整大小时要考虑的时间段（例如观察期/采样期）在做出调整大小的决定时，这完全取决于您希望包括或不包括的工作负载及其周期性性能--例如，您可能需要考虑最近7天内更具弹性的工作负载对于弹性较小的工作负载，可能需要更长的时间，例如最近90天。最后两种方法基本上可以让你释放云提供的弹性——弹性不是你转向云的原因之一吗？当然，你想尽可能地享受它，否则你没有正确地使用云，云主机服务器，你将为此付出代价。2–在不同的族类型之间进行缩放并不容易；大多数工具都避免这样做当试图在AWS上的不同实例类型族之间移动时，这会变得更加困难。在系列之间进行扩展时，必须考虑多个因素和限制，如ENA（网络）和NVMe驱动程序、实例的AMI类型（HVM或PV）施加的限制、确保计算支持存储层（例如EBS优化）以及云帐户的配额限制等。顺便说一句，在族类型之间移动是如此复杂，以至于大多数云优化工具都不会尝试这样做，而是只在同一个族中进行缩放（扰流板警告：涡轮经济系统不是其中之一）。在同一个系列中缩小规模是因为您将容量和成本提高了一倍。了解每种实例类型在容量和成本方面（老一代与新一代）的确切好处也很重要。例如，在下面的图片中，您会注意到m5.large比m4.large提供了更多的内存，但它的成本更低。这在AWS中非常常见，因为随着时间的推移，这最终有助于将客户从旧一代硬件上移开。但情况并非总是如此… 您可能已经注意到在上图中，m4.large和m5.large提供了相同的vCPU数量（2）–但这是否意味着vCPU速度将相同？答案是否定的。即使你对vCPU这样的单一指标做出了缩放决策（你不应该！）-你怎么知道最好的实例类型是什么来确保CPU得到它所需要的？为了确定公共云上的CPU时钟速度，您必须使用Amazon的EC2计算单元（ECU）或Azure计算单元（ACU）-您是否尝试过使用ACU或ECU来确定云实例类型的实际vCPU速度？提示：这不是很人性化。最后，正确调整工作负载（特别是任务关键型工作负载）的最准确方法是，在确定扩展到什么容量时，需要通过收集和分析重要的应用程序指标（如堆、线程和响应时间）深入了解应用程序需求。如果你对基于vCPU或vMem度量的基于Java的工作负载进行正确的调整，大数据怎么用，那么可能会陷入痛苦的世界。3-你需要一个村庄来大规模管理国际扶轮RI是降低公共云成本的最佳方式之一，在高水平上，RIs允许用户通过对一定数量的预付容量做出1年或3年的长期承诺，享受与按需价格相比的显著折扣（AWS最高75%，Azure 72%）。要真正享受RIs提供的节约服务，您必须确保通过将工作负载扩展到与现有RIs匹配的实例类型，以尽可能高的级别利用您的RI池，否则您将蒙受两次损失：第一次是当您有未使用的RI时，您已经支付了费用，这意味着您将把钱留在桌面上；第二次是您有一个工作负载，可以使用按需/付费产品运行，而它可以使用RI。当你有一个以上的云账户时，RI的管理就更复杂了——你知道你可以在同一个账单系列下的AWS账户之间共享和使用RI吗？当您拥有超过1或2个AWS帐户时，您是否考虑过这样做的复杂性？购买新的RI并对其进行管理将变得难以管理；考虑到RI到期，工作负载需求的动态变化，了解不同RI类型和条款之间的成本，同时努力实现组织的RI覆盖目标，这些任务都是不可能的。据我们采访过的许多客户说，他们中的一些人拥有由云专家和财务专家组成的团队来全职工作，但仍然未能实现他们的目标。上面的rightli和管理工作负载的方法都很复杂。如果你把两者结合起来，你会很快意识到几乎不可能同时做到这两者（不仅对人类，甚至对其他云优化工具也是如此）。4–别忘了存储优化另一个需要不断优化的方面是vm使用的存储。云供应商提供多层存储，每层都有自己的功能。例如，在AWS上，EBS卷分为四层：io1、gp2、st1和sc1，每层提供不同级别的IOPS、吞吐量、大小、突发模型和成本。要充分利用某些好处，实例必须使用EBS优化的实例类型。EBS层修改的有趣之处在于，返利优惠券，一般情况下，可以在不停机的情况下完成对实例的修改，但是在层之间切换时仍然需要考虑到多个限制，如果卷是根卷还是数据卷，则这些限制会有所不同。还有一个限制，要求在两次修改之间等待6小时。此外，还可以修改EBS层的IOPS容量（而不是修改到新层），但它需要调整卷大小。5–大规模管理云垃圾具有挑战性公共云资源是"公用事业"，你用什么都要付费，就像用电一样。例如，如果你离开家去度假，你要确保没有人在家的话，不要让灯开着或空调/暖气开着。在云计算中，为了减少浪费，您应该关注两个方面：识别并暂停空闲工作负载或在下班后暂停工作负载（通常为非生产性工作负载）–例如，在下午6点到早上6点之间暂停工作负载将节省50%的成本识别和删除未连接的存储—根据卷的级别、大小和未连接卷的总量，这会每月为云账单增加数万美元许多组织会选择使用简单的脚本来根据时间表挂起和恢复vm，但是在某个时候，随着环境的变化，这些脚本的维护和更新将变得非常耗时。未连接存储问题很常见，许多用户会销毁实例，有时会忘记删除关联的卷，无论是否使用这些卷，公司都会为这些卷付费。6–等等，还有更多…优化不仅仅是基本的虚拟机（IaaS）–你很可能不仅仅在云上运行虚拟机，如果你在Azure上利用DB PaaS，如RDS或SQL，或者甚至利用EKS或AKS等托管容器服务，你需要能够收集指标，分析数据并采取行动——你需要能够理解每个PaaS服务的细微差别，才能真正优化它。有效的优化有时意味着什么都不做，有时它是一系列的操作——例如，人类可能会看到一个工作负载指标超过了一个阈值，并会尝试扩大它，但这并不总是