6月6日，我们的团队与Databricks的产品管理总监Clemens Mewald共同举办了一场管理完整机器学习生命周期：MLflow的新功能的在线研讨会。机器学习开发在传统的软件开发生命周期之外带来了许多新的复杂性。与传统的软件开发不同，ML开发人员希望尝试多种算法、工具和参数来获得最佳结果，并且他们需要跟踪这些信息来重现工作。此外，开发人员需要使用许多不同的系统来生产模型。为了解决这些挑战，去年6月，我们推出了MLflow，一个管理完整机器学习生命周期的开源平台。最近，我们宣布了托管MLflow在Databricks上的普遍可用性以及mlflow1.0版本。在本次网络研讨会中，我们回顾了新的和现有的MLflow功能，这些功能允许您：跟踪跨框架的实验运行和结果。在Databricks集群上远程执行项目，并快速重现运行。使用Databricks生产作业、Docker容器、Azure ML或Amazon SageMaker快速生产模型我们使用我们公开文档中的笔记本和教程演示了这些概念，这样您就可以按照自己的节奏练习了。如果您想免费访问Databricks统一分析平台，并尝试我们的笔记本电脑，您可以访问免费试用。最后，我们进行了问答，下面是问答。Q： 除了所有设置的麻烦之外，在本地使用MLflow而不是在云数据库中使用MLflow是否有任何缺失的特性/缺点？Databricks非常致力于开源社区。我们的创始人是Apache SparkTM的最初创造者，Apache SparkTM是一个广泛采用的开源统一分析引擎，我们的公司仍然积极维护和贡献开源Spark代码。同样，对于Delta Lake和MLflow，我们同样致力于帮助开源社区从这些产品中获益，并提供这些产品的开箱即用管理版本。当我们考虑在Delta Lake或MLflow的开源或托管版本上提供的特性时，我们不会考虑是否应该在某个版本上保留某个特性。我们考虑我们可以提供哪些只有在托管和托管版本中对企业用户有意义的附加功能。因此，您从Databricks上的managed MLflow获得的所有好处是，您不需要担心设置、管理服务器以及与Databricks统一分析平台的所有这些集成，从而使它与工作流的其余部分无缝地工作。访问https://databricks.com/mlflow了解更多。Q： MLflow 1.0是否支持Windows？是的，我们添加了在windows上运行MLflow客户端的支持。请参阅我们的发行说明。Q： MLflow与TensorFlow是互补还是竞争？这是一个完美的补充。您可以训练TensorFlow模型，并使用MLflow记录度量和模型。Q： 我们可以使用MLflow跟踪多少种不同的度量？对它有什么限制吗？MLflow不会对您可以跟踪的指标数量施加任何限制。唯一的限制是用于存储这些度量的后端。Q： 如何并行化训练模型？MLflow与用于训练模型的ML框架无关。如果使用TensorFlow或Pythorch，则可以使用HorovodRunner分发培训作业，并使用MLflow记录实验、运行和模型。Q： 是否有一种方法可以批量提取MLflow信息以执行运营分析（例如，上一季度有多少次培训运行）。有多少人在培训模特等）？我们正在研究一种方法，可以更容易地将MLflow跟踪元数据提取成一种可以进行数据科学的格式，例如pandas数据帧。Q： 是否可以使用一个平台来训练和构建一个MLflow模型（例如，使用带有PySpark的TensorFlow的Databricks），然后在另一个平台中重用该MLflow模型（例如在R中使用RStudio）来评分？MLflow模型格式和抽象允许从任何可以加载它们的地方使用它们。E、 g.您可以使用python函数风格从任何python库调用模型，或者使用r函数风格将其作为r函数调用。MLflow不会将模型重写为新的格式，但是您可以始终将MLflow模型公开为REST端点，然后以与语言无关的方式调用它。Q： 为了服务于一个模型，在databricks之外部署什么样的选项，比如Sagemaker。你有计划部署成AWS Lambdas吗？我们提供了几种部署MLflow模型的方法，包括Amazon SageMaker、microsoftazureml、Docker Containers、Spark UDF等等……请参阅本页的列表。为了举例说明如何在AWS Lambda中使用MLflow模型，可以使用python函数风格，它使您能够从任何可以调用python函数的地方调用模型。Q： MLflow可以与Databricks之外的python程序一起使用吗？是的，MLflow是一个开源产品，可以在GitHub和PyPi上找到。Q： 数据库的定价模式是什么？请看https://databricks.com/product/pricingQ： 你如何看待MLflow相对于气流的演变？我们正在寻找支持多步骤工作流的方法。一种方法是利用气流。我们还没有做出这些决定。Q： 建议部署多步骤模型，例如多个基本模型的集成。现在，您可以通过编写代码来集成其他模型来将它们部署为MLflow模型。E、 类似于多步骤工作流示例的实现方式。Q： MLflow是否提供了一个对数据进行特征工程的框架？不是特别的，但是您可以将任何其他框架与MLflow一起使用。要开始使用MLflow，请按照中的说明操作mlflow.org网站或者查看Github上的发布代码。我们最近还为MLflow以及实时问题创建了一个Slack频道，您可以在Twitter上关注@MLflow。我们很高兴听到您的反馈！免费试用Databricks。今天就开始吧