金融业监管局（Financial Industry Regulatory Authority）是一家负责保护美国证券市场的监管机构，在Spark+AI峰会上就他们如何使用Databricks统一分析平台分析每天多达1000亿个股市事件进行欺诈检测和预防。这是他们在峰会上的故事摘要。有兴趣学习如何使用机器学习和apachespark来检测财务欺诈吗？观看我们的网络研讨会，通过机器学习检测大规模的财务欺诈，逐步了解如何构建大规模的财务欺诈模型，包括现场演示。美国的每个投资者都依赖一件事：公平的金融市场。FINRA是一个监管机构，负责通过确保美国证券业以诚实和公平的方式运作来保护投资者。FINRA通过对99%的股票市场和70%左右的期权市场进行监控来做到这一点。例如，他们希望遏制欺诈或不公平的行为，如各方串通，操纵市场对他们有利。FINRA通过从不同的证券市场获取交易数据，然后对数据运行机器学习算法来识别异常行为或识别已知欺诈行为模式，然后标记这些异常并对其采取行动。然而，在采用Databricks之前，FINRA遇到了许多挑战。挑战：海量数据、分散的团队在提供AI驱动的欺诈检测的道路上，FINRA面临着许多挑战，包括大量零散的数据、不充分的工具和各自为政的团队。 碎片化数据—在使用数据块之前，由于数据存储在不同的内部部署系统中，构建高性能、可靠的数据管道是非常复杂和昂贵的，它可以扩展以支持它们接收的数据量——每天超过1000亿个事件。由于数据被锁定，访问涉及繁琐的过程，几乎不可能自由地探索和可视化数据。洗钱工具不足——FINRA使用了一系列工具和系统来开发其欺诈模型。在生产中，他们使用的SQL规则非常复杂，需要数百页的SQL语句和各种子语句。这些查询很难开发、调试，并且存在性能问题。此外，代码不是模块化的，不能很容易地更改或改进。各自为政的团队——他们脱节的分析工作流程给FINRA带来了许多问题，包括缺乏代码重用以及数据科学和工程团队之间的协作有限。在一个给定的项目中，数据科学家将首先调查问题，然后用R或Python构建和训练他们的模型。一旦模型准备好用于生产，工程团队将从数据科学团队获得输出，并用SQL重写它，以便部署到生产环境中。这导致了很长的开发周期，最重要的是，高度不准确的模型没有达到识别恶意行为模式的最终目标。图：FINRA的遗留架构创建了一个竖井式的开发过程 解决方案：走向统一的、ML驱动的环境FINRA的数据团队知道，他们的传统工作流程固有的复杂性让他们步履维艰。Databricks为FINRA提供了一个统一的分析平台，该平台使数据民主化，并将以前各自为政的团队聚集在一起，缩短了整体上市时间，提高了功能库的可重用性，并提高了运营效率。图：Databricks Unified Analytics平台允许FINRA移动从基本的SQL分析到AI驱动的分析"通过Databricks，我们有一个统一的端到端流程，由一个统一的团队负责保护证券市场。"—Vincent Saulys，FINRA高级监控开发部高级主管作为一个完全管理的云服务，FINRA的数据科学团队能够专注于与机器学习领域相关的更高层次的问题，而不是DevOps的工作。使用功能强大的群集管理器按需提供计算群集，该管理器提供自动扩展和自动终止功能，以获得最佳的操作效率，因此他们不必担心隐藏在引擎盖下的各种复杂性。交互式工作区对多种编程语言（包括SQL、Scala、R和Python）提供了强大的支持，使FINRA的数据科学家能够克服筒仓，加快迭代速度，更好地协作。易于使用的笔记本电脑界面和群集管理器允许不同学科的所有用户参与开发机器学习模型。为了建立一个机器学习模型，FINRA必须开发一个特征框架。SQL模式被分成简单的函数，可以在不同的模型上重复使用，最终开发的ML模型是如此模块化，特性可以随时更改或修改。对于大型复杂的SQL语句，这是很困难或几乎不可能做到的。进一步的人类反馈和附加功能被用来随着时间的推移改进模型。这消除了在其环境中利用机器学习的障碍，减少了获取和准备数据所需的总体上市时间；并构建、培训和部署模型，以检测可能影响交易员的异常模式。 影响Databricks对FINRA产生了非常积极的影响。首先，新机器学习模型的开发过程已经通过数据摄取、模型开发和培训的协作工作区进行了简化。这使开发人员和数据科学家能够进行更多的实验和迭代，从而使更好、更准确的模型更容易部署到生产中。最大的收益来自于用于DevOps工作的时间和资源显著减少的直接结果。这使得FINRA的数据团队能够专注于他们的专业领域，而不会陷入支持基础设施的低级任务的泥潭。因此，他们能够将投资转向解决业务问题，而不再需要为机器学习获取数据。下一步是什么在FINRA，数据就是生意！数据不仅代表了证券市场可能发生的事情，而且是实际发生的事情。展望未来，数据链将继续成为FINRA分析策略的基石——使其能够使用机器学习和先进的分析技术，找到更好、更准确的方法来识别数据中的异常情况，并遏制恶意交易行为。了解更多观看关于通过机器学习大规模检测金融欺诈的网络研讨会观看FINRA在Spark+AI峰会上的主题演讲了解有关金融服务数据块的更多信息免费试用Databricks。今天就开始吧