异常检测在全球许多行业发挥着至关重要的作用，如金融行业的欺诈检测、医院的健康监测、制造业、石油和天然气、公用事业、运输、航空和汽车行业的故障检测和运行环境监测。异常检测是指在数据中发现不符合预期行为的模式。重要的是决策者能够发现它们，并在需要时采取主动行动。以石油和天然气行业为例，配备各种设备的深水钻井平台受到数百个传感器的密集监测，这些传感器以不同的频率和格式发送测量数据。使用传统的软件平台很难进行分析或可视化，在深水石油钻井平台上，由于未能检测到异常而导致的任何非生产性时间都可能意味着每天都会造成巨大的经济损失。公司需要诸如Azure IoT、Azure Stream Analytics、Azure Data Explorer和机器学习等新技术来吸收、处理数据并将其转换为战略性商业智能，以增强勘探和生产、提高制造效率并确保安全和环保。这些托管服务还可以帮助客户显著缩短软件开发时间、加快上市时间、提供成本效益，并实现高可用性和可扩展性。虽然Azure平台为异常检测提供了很多选项，客户可以选择最适合他们需求的技术，但客户也向面向现场的架构师提出了问题，即哪些用例最适合每个解决方案。我们将检查下面这些问题的答案，但首先，您需要知道几个定义：什么是时间序列？时间序列是按时间顺序索引的一系列数据点。在石油和天然气工业中，大多数设备或传感器读数都是在连续的时间或深度点上采集的序列。什么是加性时间序列的分解？分解是将一个时间序列分解为多个组件的任务，如下图所示。时间序列预测与异常检测异常检测是识别与大多数数据集显著不同的观测值的过程。这是一个使用azuredataexplorer的异常检测示例。红线是原始时间序列。蓝线是基线（季节+趋势）组成部分。紫色点是原始时间序列顶部的异常点。要检测异常，可以使用Azure流分析或Azure Data Explorer进行实时分析和检测，如下图所示。Azure Stream Analytics是一种易于使用的实时分析服务，专为任务关键型工作负载而设计。您可以只需单击几下鼠标就可以构建一个端到端的无服务器流式传输管道，使用SQL在几分钟内从零变为生产，或者使用自定义代码和内置的机器学习功能对其进行扩展，以适应更高级的场景。azuredataexplorer是一种快速、完全管理的数据分析服务，用于对来自应用程序、网站、物联网设备等的大量数据流进行近乎实时的分析。您可以在运行中提出问题并迭代地研究数据，以改进产品、增强客户体验、监视设备、促进运营，并快速识别数据中的模式、异常和趋势。Azure流分析还是Azure Data Explorer？用例流分析用于连续或流式实时分析，聚合函数支持跳跃、滑动、滚动或会话窗口。如果您想用JavaScript或C#以外的语言编写udf或uda，或者您的解决方案在多云端或本地环境中，那么它将不适合您的用例。Data Explorer用于按需或交互式的近实时分析、对大量数据流的数据探索、季节性分解、即席工作、仪表盘，以及从近实时到历史数据的根本原因分析。如果您需要将分析部署到边缘，它将不适合您的用例。预测你可以设置一个与Azure机器学习工作室集成的流分析作业。dataexplorer提供了基于相同分解模型预测时间序列的本机功能。预测在许多情况下都很有用，如预防性维护、资源规划等。季节性由于滑动窗口大小的限制，流分析不提供季节性支持。dataexplorer提供了自动检测时间序列中的时段的功能，或者允许您验证度量是否应该具有特定的不同时段（如果您知道这些时段）。分解流分析不支持分解。dataexplorer提供了一个获取一组时间序列并自动将每个时间序列分解为其季节、趋势、残差和基线组件的功能。过滤与分析流分析提供了检测峰值和下降或变化点的功能。dataexplorer提供在一组时间序列上查找异常点的分析，以及检测到异常后的根本原因分析（RCA）功能。过滤流分析提供了一个包含参考数据、慢速移动或静态数据的过滤器。Data Explorer提供两个通用函数：•有限脉冲响应（FIR），可用于移动平均、微分、形状匹配•指数平滑和累积和的无限脉冲响应（IIR）异常检测流分析提供以下检测：•峰值和下降（临时异常）•变化点（持续异常，如水平或趋势变化）Data Explorer提供以下检测：•基于增强的季节分解模型的峰值和下降（支持自动季节性检测，对训练数据中的异常具有鲁棒性）•分段线性回归的变化点（水平变化、趋势变化）•KQL内联Python/R插件可以扩展Python或R中实现的其他模型下一步是什么？一般来说，Azure数据分析为每个工作负载带来了同类最佳的技术。新的实时分析体系结构（如上所示）允许为流和时间序列分析（包括异常检测）的每种工作负载类型利用最佳技术。以下是可能有助于您快速入门的资源列表：如果您还没有，请查看这个GitHub存储库，以便在Azure Stream Analytics中进行异常检测查看他的GitHub存储库，在azuredataexplorer中进行异常检测和预测，并在azuredataexplorer中进行时间序列分析Azure流分析中的异常检测概述Azure Data Explorer中的异常检测和预测概述关于azuredataexplorer中时间序列分析的文档和此博客Kusto查询语言与时间序列分析