这是azurehdinsight监控系列文章中的第四篇。azurehdinsight监控第1部分：概述讨论了三个主要的监控类别：集群运行状况和可用性、资源利用率和性能以及作业状态和日志。第2部分集中讨论第一个主题，监视集群的运行状况和可用性。第3部分讨论了监视性能和资源利用率。这个博客更深入地讨论了其中的第三个主题，工作负载度量和日志。在正常操作期间，当您的Azure HDInsight群集运行正常且性能最佳时，您可能会将注意力集中在监视集群上运行的工作负载和查看相关日志以帮助调试。azurehdinsight提供了两种可用于监控集群工作负载的工具：apacheambari和与Azure监控日志的集成。apacheambari包含在所有azurehdinsight集群中，它提供了一个易于使用的web用户界面，可用于监视集群和执行配置更改。Azure Monitor从多个资源（如HDInsight群集）收集度量和日志到Azure Monitor日志分析工作区。Azure Monitor Log Analytics工作区以结构化、可查询的表形式显示度量和日志，可用于配置自定义警报。azuremonitor日志为监视工作负载和与日志交互提供了极好的总体体验，尤其是当您有多个集群时。Azure监视器日志Azure监视器日志使多个资源（如HDInsight群集）生成的数据能够在一个地方收集和聚合，以获得统一的监视体验。作为先决条件，您将需要一个日志分析工作区来存储收集的数据。如果尚未创建一个，则可以按照以下说明创建Azure Monitor Log Analytics工作区。然后，您可以轻松地配置HDInsight集群，以将大量日志和指标发送到Azure Monitor Log Analytics。HDInsight监控解决方案azurehdinsight以解决方案的形式提供了预制的监视仪表板，可用于监视集群上运行的工作负载。Azure市场上有针对apachespark、Hadoop、apachekafka、livelong和process（LLAP）、apachehbase和apachestorm的解决方案。请参阅我们的文档以了解如何安装监视解决方案。这些解决方案是特定于工作负载的，允许您监视诸如中央处理单元（CPU）时间、可用纱线内存和给定类型的多个集群的逻辑磁盘写入等指标。选择一个图会将您带到用于生成它的查询，如logs视图中所示。 HDInsight Spark监控解决方案提供了一个简单的预制仪表板，您可以在一块玻璃板上监视多个集群的特定于工作负载的指标。HDInsight Kafka监视解决方案使您能够在一块玻璃上监视所有Kafka群集。使用日志刀片进行查询您还可以使用LogAnalytics工作区中的logs视图直接查询度量和表。HDInsight集群会发出几个特定于工作负载的日志表，如log_resourcemanager_CL、log_spark_CL、log_kafkaserver_CL、log_jupyter_CL、log_regionserver_CL和log_hmaster_CL。在度量方面，集群会发出几个度量表，包括metrics_sparkapps_CL、metrics_resourcemanager_queue_root CL、metrics_kafka_CL和metrics_hmaster_CL。有关更多信息，请参阅我们的文档，查询Azure监视器日志以监视HDInsight群集。日志分析工作区中的日志刀片允许您跨多个群集查询收集的度量和日志。Azure监视器警报您还可以设置在度量值或查询结果满足特定条件时触发的Azure监视器警报。您可以对返回值大于或小于某个阈值的查询设置条件，甚至可以根据查询返回的结果数设置条件。例如，您可以创建一个警报，以便在Spark作业失败或Kafka磁盘使用率超过90%时发送电子邮件。当警报触发时，您可以选择触发多种类型的操作，例如电子邮件、SMS、推送通知、语音、Azure功能、Azure LogicApp、webhook、IT服务管理（ITSM）或自动化运行手册。您可以为单个警报设置多个操作，并通过访问我们的文档、在Azure门户中创建和管理操作组来查找有关这些不同类型操作的更多信息。最后，除了名称之外，还可以为警报指定严重性。指定严重性的能力是一个强大的工具，可以在创建多个警报时使用。例如，您可以创建一个警报，以便在单个头部节点不可用时发出Sev 1警告警报，而另一个警报则在两个头部节点都关闭的不太可能的事件中引发Sev 0严重警报。以后查看时，可以按严重程度对警报进行分组。阿帕奇·安巴里apacheambari仪表板提供指向多个不同视图的链接，用于监视集群上的工作负载。ResourceManager用户界面ResourceManager用户界面提供了几个视图来监视基于YARN的集群上的作业。在这里，您可以看到多个视图，包括已完成或正在运行的应用程序及其资源使用情况的概述，按队列列出的计划作业视图，以及作业执行历史记录和每个应用程序状态的列表。您可以单击单个应用程序ID以查看有关该作业的更多详细信息。Spark历史服务器Apache Spark History Server显示已完成Spark作业的详细信息，便于监视和调试。除了顶部的传统选项卡（作业、阶段、执行器等），您还可以找到其他数据、图形和诊断选项卡，以帮助进一步调试。群集日志YARN日志文件在HDInsight集群上可用，可以通过apacheambari中的ResourceManager日志链接进行访问。有关群集日志的更多信息，请参阅我们的文档"管理HDInsight群集的日志"。下一步行动如果您还没有阅读过本系列中的其他博客，可以在下面查看它们：Azure HDInsight监控第1部分：概述Azure HDInsight监控第2部分：群集运行状况和可用性Azure HDInsight监控第3部分：性能和资源利用率关于Azure HDInsightazurehdinsight是一种简单、经济、企业级的开源分析服务，使客户能够轻松运行流行的开源框架，包括apachehadoop、Spark、Kafka等。这项服务在36个地区以及Azure政府和国家云上都可用。azurehdinsight为各种领域的关键任务应用程序提供了强大的支持，并支持广泛的用例，包括提取、转换和加载（ETL）、流式处理和交互式查询。