从一开始，Cloudflare就阻止恶意机器人抓取网站或滥用api。随着时间的推移，我们改进了我们的机器人检测方法，并部署了大型机器学习模型，能够将真实流量（无论是人类还是应用程序）与恶意机器人区分开来。我们还建立了一个大目录的好机器人，以检测像有用的索引搜索引擎。但是这还不够。恶意机器人仍然是互联网上的一个问题，我们决定反击。从今天起，客户可以选择在其Cloudflare的防火墙设置中启用"机器人战斗模式"仪表板。一次启用后，当我们发现一个坏的机器人时，我们将做三件事：（1）我们将通过给机器人制造者涂上柏油，从经济上抑制他们的积极性，包括要求他们解决一个计算密集的挑战，这将需要更多的机器人的CPU；（2）对于带宽联盟伙伴，我们将把机器人的IP交给合作伙伴，让机器人离线；我们要种树来弥补机器人的碳排放成本。恶意机器人程序损害了合法的网络出版商和应用程序，通过滥用资源损害了托管提供商，它们通过服务器的电力成本和机器人程序的冷却成本，对地球造成了双重伤害受害者。够了够了。我们的目标就是让互联网上的恶意机器人不再可行。我们认为，用我们的规模，我们可以做到那。怎么了Cloudflare检测到botcloudflare的秘密沙司（好吧，不是很秘密的沙司）是我们的庞大规模。目前，我们处理超过2000万互联网资产的流量，从最小的个人网站，到流行应用程序和物联网设备的后端API，到互联网上一些最知名的名字（包括《财富1000强》杂志的10%），这一规模给了我们巨大的优势，因为我们看到了大量和多样的流量允许我们建立互联网行为的大型机器学习模型。这种规模和多样性使我们能够快速、轻松地测试新规则和模型。我们的机器人检测分为四个大的c组件：标识众所周知的合法机器人；手写的简单机器人规则，无论多么简单，日复一日地使用；我们的机器人活动检测器模型，根据过去的流量发现机器人的行为并阻止它们；以及我们的可信客户端模型，它可以识别HTTP用户代理是否是它所说的是。在此外，Gatebot，我们的DDoS缓解系统，指纹DDoS机器人，并阻止其流量在包级别。除了Gatebot之外，客户还可以访问我们的防火墙规则，在那里他们可以编写细粒度的规则来阻止非常特定的攻击类型。另一个该模型允许我们确定IP地址是否属于VPN端点、家庭宽带用户、使用NAT的公司、托管或云提供商。这是最后一组"机器人清理"目标。今天，Cloudflare每天面临超过30亿个机器人程序请求的挑战。其中一些机器人将会有一个非常糟糕的时间。怎么了Cloudflare对抗机器人发起机器人攻击的成本包括启动攻击所需的CPU时间。如果我们的模型显示流量来自一个bot，并且它在宿主或云提供商上，我们将部署CPU密集型代码，以使bot writer消耗更多的CPU并减慢速度。通过强迫攻击者使用更多的CPU，我们在攻击期间增加了他们的成本，并阻止了未来一个。这个是许多所谓的"tarpitting"技术之一，我们现在正在整个网络中部署这些技术来改变运行恶意机器人的经济性。警告恶意的机器人操作员：如果你把目标放在Cloudflare的IP空间后面，我们会让你车轮。每我们把恶意机器人绑起来的那一刻，也就是它们不会对整个互联网造成危害的那一刻。这意味着我们不仅要保护我们的客户，而且要保护那些目前被恶意机器人恐吓的在线用户。Cloudflare生日周的精神一直是要回馈整个互联网，我们想不出比清除互联网上的恶意更好的礼物了机器人。超越只是浪费时间，我们想让他们关闭。如果托管bot的基础设施提供商是带宽联盟的一部分，我们将共享bot的IP地址，这样他们就可以完全关闭bot。带宽联盟使我们能够降低与合作伙伴之间的传输成本，并且，通过这次发布，还可以帮助我们与他们合作，使互联网更安全，更合法用户。一般来说，我们运行机器人战斗模式的每个人都认为这是个好主意。我们听到的唯一反对意见是，当我们开始强迫机器人在短期内解决CPU密集型挑战时，在他们放弃之前——我们认为这是长期不可避免的——我们可能会增加碳排放。为了应对这些排放，我们致力于估算这些机器人使用的额外CPU，计算它们的碳排放成本，然后植树来补偿和建造一个更好的未来。种植应对气候变化需要人们和公司的多方努力。Cloudflare今年早些时候宣布，我们已经将可再生能源证书的购买范围扩大到了我们的194个全球网络城市。到计算出我们需要做多少植树我们需要计算额外的CPU使用成本时，使一个机器人努力工作。这是怎么做到的工作。使用450 kg二氧化碳/年（从https://www.goclimateneutral.org/blog/the-carbon-footprint-of-servers/)对于坏机器人可能使用的服务器类型（使用不可再生能源的云服务器），每个CPU核心每年可获得8kg二氧化碳。我们可以测量机器人消耗CPU的时间，这样我们就可以直接估算出我们的战斗所排放的二氧化碳量回来。根据种植一棵树，一棵成熟树每年可吸收约21kg二氧化碳。所以，粗略地说，每棵树可以从2.5CPU吸收一年的二氧化碳核心。自从树木的成熟需要时间，而气候变化带来的挑战，我们将为过度种植树木付出代价。对于我们计算出的每一棵树，我们需要种植来隔离来自战斗机器人的二氧化碳排放，我们将捐赠25美元给一棵种植了25颗的树树。还有当然，我们会把坏机器人的IP地址交给我们的带宽联盟伙伴，让他们关闭这些机器人，彻底消除它们的碳排放成本。过去，科技界在很大程度上击败了电子邮件垃圾邮件发送者和出租服务的DDoS，我们认为这是现在彻底击败恶意机器人的正确策略所有人。谁机器人会受伤吗？恶意机器人程序会对我们客户的基础设施造成严重危害，并经常给客户的用户带来不良体验。例如，最近的一个客户受到了一次凭证填充攻击，该攻击不仅试图危害其用户的帐户，而且其攻击量非常大，实际上在客户网站的各个方面造成了小规模的拒绝服务。恶意机器人使客户的传统威胁预防基础设施过载，我们很快就把他们当作一个受到攻击的客户。作为入职培训的一部分，我们发现使用我们的Bot管理产品可以特别阻止攻击，同时不影响任何合法用户交通。另一个我们看到的趋势是机器人和僵尸网络的结合在增加，特别是在库存囤积机器人的世界里。这些机器人运营商的消费动机和意愿相当高。目标是一般供应有限、需求量大、价值高的货物。想想运动鞋、音乐会门票、机票和流行的短期百老汇音乐剧。能够以零售方式购买这些产品的机器人运营商可以在售后销售中收取巨额保费。当运营商确定目标站点（如电子商务零售商）和特定项目（如正在销售的新运动鞋）时，他们可以在新的住宅代理服务器上购买时间作为服务市场，以获得终端用户机器和（相对）干净的IP地址，从而发起攻击。然后，他们利用复杂的技术和触发器来改变机器、网络和软件的特性，通过一系列非常广泛的选项和组合来生成攻击，挫败依赖重复或已知模式的系统。这种类型的攻击也会伤害到多个目标：电子商务网站有真正沮丧的用户，他们无法购买所需商品。真正的用户在库存上输给了一个攻击者，而攻击者只是在那里攫取最大的利润。而作为僵尸网络一部分的不知情用户在未经其同意或知识底线是机器人会伤害公司及其customers.SummaryCloudflare从一开始就与恶意机器人作斗争，随着时间的推移，已经部署了越来越复杂的方法阻止他们。利用我们保护和加速的超过2000万互联网财产的力量，以及我们对世界各地网络和用户的可见性，我们建立了机器学习模型，将机器人从好的方面分类并阻止不好。但是机器人仍然是一个问题，我们的新机器人战斗模式将直接阻止机器人作家攻击客户。与此同时，我们不想对气候变化做出贡献，我们正在通过植树来吸收碳并帮助建设一个更美好的未来（以及互联网）来抵消机器人的碳成本。