最近，我们的一些客户可能已经注意到延迟时间的增加，并报告超时mixpanel.com网站以及我们的查询API，特别是在2017年1月30日至2月20日的三周内。我们明白，当你的报告不能很快加载时，这是非常令人沮丧的，所以我们想解释一下是什么导致了这些问题，并概述了我们已经采取的补救措施，以及分享我们的战略，以防止这种情况在未来发生。首先，返利手游，事件时间表：1月11日：我们的基础设施工程团队开始调查在我们的一个生产数据集群上逐渐增加的查询延迟。调查没有确定具体原因，但我们注意到客户数据量和对该集群的查询总体上有所增加。1月30日至2月3日：我们的警报显示，大数据和数据分析区别，在一天中的特定时间，这个集群上的查询延迟会急剧增加。由于集群的计算能力在所有客户之间共享，一些高容量客户的查询量每天都在增加，导致其他客户的查询速度变慢。为了防止这种资源垄断，我们将API速率限制降低到每个客户30个QPS。2月10日至12日：到目前为止，我们在减少查询延迟峰值方面的努力没有取得成功。我们为自己设定了一个目标，将第90个百分位查询延迟恢复到1秒以下，并开始采取更实质性的措施。我们将负责收集和聚合查询结果的查询节点池的大小扩大了一倍。这对查询速度有积极的影响，但这不足以使我们达到目标。我们还进一步调查了这些峰值的原因，并发现了一些内部过程是造成这些峰值的原因。2月15日至17日：我们将API费率限制进一步降低到每个客户10个QPS，并采取了一些措施来减轻我们内部流程造成的负担。我们还订购了更多的硬件来提供一个全新的集群。2月24-25日：我们开始将客户的数据移动到新的集群中。一旦我们移动了足够多的数据，我们就实现了让所有客户的第90百分位延迟低于1秒的目标。这起事件的根本原因是，上个月，贵州大数据，我们客户的数据量和查询量大大超过了我们的容量规划。当延迟增加成为一个问题时，我们也花了太长时间来增加容量。鉴于这些失误，我们正在做一些事情，大数据难吗，以帮助将来防止这种情况发生。弹性产能：我们有一个项目已经进行了几个月，这将使我们能够更容易、更快地增加产能以应对需求。增强隔离：我们还致力于改善客户的资源隔离，这样一个高容量客户的查询不会减慢其他客户的查询速度。服务级别目标：我们开始推出一套内部服务级别目标，大数据共享平台，这些目标集中在直接影响客户体验的因素上。我们将密切关注这些情况，以便在客户感到痛苦时迅速作出反应。我们知道，我们的客户相信我们能够为他们提供制定关键业务决策所需的数据和见解，而且加载速度慢会造成中断。我们为未能保持客户期望的高水平服务而道歉，我们正在努力确保类似事件不再发生。–Alex Hofsteede，绩效团队经理