从8月17日到25日，一些客户注意到Mixpanel web应用程序的页面加载出现间歇性故障。我们为我们服务的可靠性下降而道歉。我们想解释一下这个问题和我们已经采取的补救措施。我们还将分享我们在未来预防这种情况的策略。发行网站中断是由两个不相关的问题造成的：首先，Mixpanel的消息和活动特性在消息传递时连接到数据库。某些情况导致这些传递同时建立大量的数据库连接并开始发送命令，从而导致数据库的高负载突然激增。我们的服务达到了这样的规模：这些流量峰值导致延迟增加，一些连接超时。其次，大数据工具，Mixpanel最近推出了一款新产品，它可以通知用户web应用程序中的数据异常。此产品的后端存在错误处理错误，导致内存不足。来自后端的故障导致我们的负载平衡器将所有主机标记为不正常，企业应用中心，从而导致客户可见的错误页。这两个问题都导致mixpanel.com网站.影响在这段时间内，网站总共中断了大约5分钟。该网站在多天的事件中出现了间歇性的页面加载故障，总计约95分钟。为了解决这些问题，外汇返现，已经做了一些修改，详细内容如下。自从这三次事件发生以来，我们没有发现任何网站可用性问题。补救团队在每个问题发生时都进行了调查，并实施了以下更改。与消息和活动相关的更改：通过逐渐增加和增加来自通知服务的请求的抖动来减少并发数据库连接的峰值。通过调整来自mixpanel.com网站web应用程序。与异常检测相关的变更：修复了异常检测服务中的错误处理问题，淘客系统开发，并减少了对该服务的请求的连接超时。后端错误不再作为前端错误层叠。我们捕捉并优雅地降级后端错误。为请求提供服务的web应用程序工作人员数量增加。预防和下一步措施Mixpanel定期进行工程验尸，大数据技术，深入研究事故，并确定防止再次发生的行动计划。在回顾了这起事件后，我们正在采取以下预防措施：我们将分离主web应用程序和任何单个特性之间的依赖关系。这样，产品某一方面的潜在问题不会导致其他领域的停机。对于与通知和活动相关的事件，我们将通过将这些功能的高容量服务分离到单独的备份数据存储中来实现这一点。对于与数据异常检测相关的事件，我们进行了更改，使后端故障不再传播到用户，这将防止新功能导致的bug导致我们的站点崩溃。我们还改进了跨多个服务的监视和警报，以加快事件响应时间。这将消除影响一节中讨论的部分大修持续时间的很大一部分。如果您对该事件或您可能经历过的任何其他事件有进一步的问题，请随时联系Mixpanel支持部门，网址为support@mixpanel.com。