Databricks很高兴地宣布发布Databricks Runtime 7.0 for Machine Learning（Runtime 7.0 ML），它提供了预先配置的GPU感知调度，并为训练和推理工作负载添加了增强的深度学习功能。预先配置的GPU感知调度氢计划是阿帕奇的一大亮点™ 将最先进的人工智能（AI）和大数据解决方案结合在一起的倡议。它的最后一个主要项目是accelerator aware scheduling，它是由Databricks、NVIDIA和其他社区成员的开发人员协作在ApacheSpark3.0中提供的。在运行时7.0 ML中，Databricks为您在GPU集群上预先配置GPU感知的调度。默认配置为每个任务使用一个GPU，如果您使用所有GPU节点，这非常适合于分布式推理工作负载和分布式培训。如果您想在节点子集上进行分布式培训，Databricks建议设置spark.task.resource.gpu.金额集群Spark配置中每个工作节点的gpu数，以帮助减少分布式培训期间的通信开销。对于PySpark任务，Databricks自动将分配的GPU重新映射到索引0、1、…。在每个任务使用一个GPU的默认配置下，您的代码可以简单地使用默认GPU，而不检查分配给任务的GPU。这是分布式推理的理想选择。请参阅我们的模型推理示例（AWS | Azure）。对于使用HorovodRunner（AWS | Azure）的分布式培训任务，用户在将培训代码从旧版本迁移到新版本时不需要做任何修改。简化数据转换到深度学习框架Databricks运行时7.0 ML包括Petastorm 0.9.2，以简化从Spark DataFrame到TensorFlow和PyTorch的数据转换。Databricks向Petastorm提供了一个新的Spark数据集转换器API，将Spark数据帧转换为TensorFlow数据集或PyTorch数据加载器。有关更多详细信息，请查看Databricks中Petastorm的博客文章和我们的用户指南（AWS | Azure）。用于高性能推理的NVIDIA TensorRTDatabricks Runtime 7.0 ML现在还包括NVIDIA TensorRT。TensorRT是一个SDK，它专注于优化预先训练的网络，以便有效地进行推断，尤其是使用GPU。例如，您可以通过使用降低精度（例如FP16而不是FP32）来优化预训练模型的性能，以用于深度学习推理应用程序的生产部署。例如，对于预先训练的TensorFlow模型，可以使用以下python片段对模型进行优化转换参数=默认值转换参数params=转换\u params.\u replace（precision_mode='FP16'）转换器=trt.TrtGraphConverterV2(input_saved_model_dir=保存的_model_dir，conversion_params=转换参数，)转换器.convert()转换器.save（输出_saved_model_dir）用TensorRT对一个深度学习模型进行优化后，它可以像未优化的模型一样用于推理。请参阅我们的示例笔记本，了解如何将TensorRT与TensorFlow（AWS | Azure）一起使用。为了在减少精度推断工作负载的情况下获得最佳性能和成本，我们强烈建议在AWS上使用新支持的G4实例类型的TensorRT。支持TensorFlow 2运行时7.0 ML包括TensorFlow 2.2。TensorFlow 2包含许多新特性以及重大突破性变化。如果您从TensorFlow1.x迁移，Databricks建议您阅读TensorFlow的官方迁移指南和有效的TensorFlow2。如果您必须使用TensorFlow 1.x，可以使用Python笔记本中的以下命令启用%pip并将TensorFlow降级到1.15.3：%管道安装tensorflow==1.15.3资源Databricks Runtime 7.0 ML发行说明（AWS | Azure）Databricks Runtime 7.0发行说明（AWS | Azure）介绍Apache Spark 3.0免费试用Databricks。今天就开始吧