2016年7月，Cloudflare与应用程序平台Eager集成。在这个集成过程中，我们做出了几个决定，以确保安装应用程序的最佳体验。我们希望确保Cloudflare上的站点所有者能够以尽可能少的点击量定制和安装一个应用程序。可定制性通常会增加用户的复杂性和点击量。从那以后，我们一直在努力寻找用户控制和简单性之间的适当平衡。安装应用程序时，站点所有者必须选择要安装的应用程序的位置-站点上的URL。我们最初的计划，选择网址的应用程序将安装在几个曲折。我们的最终决定是利用我们一直在线的爬虫来预先填充用户站点的树。Always Online是一个对Cloudflare站点进行爬网并在站点崩溃时从缓存中为页面提供服务的功能。此原始设置的好处是：1仅显示有效页面应用程序只允许在html页面上安装。例如，由于不可能将Javascript注入JPEG图像中，我们可以通过不显示该路径来阻止安装程序尝试。防止用户使用这种虚假的安装方式可以防止用户在以后无法正常工作时感到困惑。2用户不需要知道其站点的任何URL这些url就在UI中。只需点击复选标记，用户就不必键入内容。这种设置的缺点是对总是在线爬虫程序的依赖性。首先，有些用户不希望一直在线。未经网站所有者同意通过Always Online对网站进行爬网，页面加载器树将无法加载，用户也无法选择要在其上安装应用程序的页面。如果用户始终在线正确启用，爬网程序可能不会对站点所有者希望安装应用程序的每个页面进行爬网。始终在线的职责是确保在最灾难性的事件中，网站所有者-他们的网站关闭-用户仍然可以看到一个版本的网站通过缓存静态HTML。很久以前，在Always Online v2之前，我们实际上使用了Google机器人和其他搜索引擎爬虫的活动来决定为Always Online特性缓存什么。我们发现实现我们自己的爬虫更有意义。我们的目标是确保一个站点中最重要的页面被抓取并存储在我们的缓存中，与搜索引擎爬虫（search engine crawler）的优先权（从站点获取尽可能多的信息）形成对比，从而"深入"到站点地图的深度。在Cloudflare的Apps平台上安装应用程序的职责是让用户能够无缝地选择要在其中注入Javascript、HTML、CSS以及在不久的将来，Cloudflare服务人员的页面。由于Always Online crawler的目标与Cloudflare应用程序平台的目标不同，因此会产生不可避免的后果。以下是一些不会对页面进行爬网的示例：页面的子域不是"橙色云"。无法通过链接从网站主页访问该页面。这个网站的主页有太多的链接让我们无法跟踪。该页面受密码保护，阻止我们访问该页面并将其添加到您的站点地图中。我们还没来得及抓取网站，页面就被添加了。尽管我们的自定义爬虫很好地实现了"始终在线"功能，但对于正在安装应用程序的客户来说，这种控制是有限的。我们决定做点什么。结合我们已经实现的爬虫数据的优势，以及在安装时输入任何URL的能力，我们创造了两个世界中最好的。现在，网站所有者可以输入他们希望安装应用程序的任何URL。还有一个选项可以选择整个目录或严格选择该页面。为简单起见，不支持regex模式。随着Cloudflare应用程序平台上应用程序的发展，平台本身的发展至关重要。在不久的将来，该应用程序的平台将具备Cloudflare工作人员、本地测试以及其他更多功能。