Databricks很自豪能成为re:Invent的白金赞助商。过去的一年对我们与AWS的合作关系来说是一个激动人心的一年，因为我们利用这么多的AWS服务构建了新的集成并深化了现有的集成。回复：Invent是一个很好的机会来展示我们的联合客户是如何从这些集成中获益的，我们想分享一下大会上重点介绍的内容！会议：与三角洲湖建立可靠的数据湖在这一次会议上，迈克尔阿姆布鲁斯特，三角洲湖的创造者，走过了三角洲湖的演变。他展示了使用datalakes进行分析的客户通常如何构建需要许多验证步骤的复杂架构。然后他展示了Delta Lake是如何处理这些问题的，还引入了一个3步流程来提炼数据，并为分析做好准备。Kabbage Inc.数据平台主管凯尔•伯克（Kyle Burke）介绍了Kabbage是如何使用Delta Lake的，以及他们的一些关键改进指标。Kabbage已经从基于Hadoop的本地架构迁移到使用AWS和Databricks的Spark云架构。他们希望通过这次迁移可以节省30-50%的成本，但是凯尔也指出他们的系统更加灵活，提供了更多的功能。他们新的Delta-Lake架构使他们能够处理所有流数据以及批处理数据，并从一个数据源为数据科学和BI报告提供数据，消除数据差异。公告：Databricks实现零售竞争力Databricks被授予AWS零售能力，以表彰我们的解决方案和零售领域的联合客户数量。这增加了数据库在机器学习、数据和分析、生命科学和公共部门已经拥有的能力列表。了解更多有关零售客户如何将Databricks和AWZ相结合的信息，我们的零售解决方案页面。Delta Lake和Athena、Glue和RedshiftDelta Lake是一个开源工具，客户正在使用Amazon的S3服务构建强大的datalakes。Databricks在我们的统一数据分析平台中包括托管的Delta Lake，以提供模式强制、ACID事务和时间旅行功能，使您能够随时回滚数据集。使用AWS Glue作为数据目录，可以注册Delta-Lake表进行访问，而诸如Redshift和Athena这样的AWS服务可以查询Glue来标识表，并查询Delta-Lake中的数据集。您可以在这篇博文中找到更多关于Glue、Athena和Redshift的集成：使用Databricks Delta和AWS Glue数据目录服务转换您的AWS数据湖。MLflow和SageMakerDatabricks提供了对Python和R的内置支持，还提供了内置的ML框架，如Keras、TensorFlow和PyTorch。许多客户正在使用Databricks的强大功能来创建和构建模型，然后使用SageMaker通过我们在LFlow上构建的集成将这些模型投入生产。Enterprise Security and CredentialsDDatabricks使您能够构建与AWS安全、角色和其他平台元素无缝集成的完整数据和分析解决方案。这些集成为不同的团队提供了企业范围的可见性和策略。可以标记违反策略的情况，也可以向部门按退单计费。在这个博客文章中了解更多关于IAM凭证传递的信息：介绍Databricks AWS IAM credential Passthrough。考拉和潘达索在过去的几年里，熊猫已经成为数据科学的关键Python框架。为了提供可伸缩性，Databricks开发了Koalas，它在apachespark的基础上实现了pandas数据帧API，并使数据科学家能够在不需要学习新框架的情况下从单台机器过渡到分布式环境。你可以在这篇博文中了解更多：考拉：从熊猫到apachespark的轻松过渡。AWS数据交换AWS在11月13日宣布了AWS数据交换，这使得客户更容易订阅第三方数据集，以便与他们自己的数据混合，并推动新的见解。数据提供者和数据订阅者都使用Databricks来大规模地构建和混合数据集。您可以在这篇博文中了解到更多：Databricks、AWS和SafeGraph团队可以更容易地分析消费者行为。要了解更多信息：现在就注册我们的帖子吧：用SafeGraph发明网络研讨会。使用AWS上的Databricks获得6小时免费培训：与专家交谈：与我们联系，以获得您在开始第一个项目时可能遇到的问题的答案，或者了解更多有关可用培训的信息。免费试用Databricks。今天就开始吧