数据呈指数级增长，企业正在开发产品来利用数据并为客户提供服务。然而，这种指数增长无法通过基础设施支出或人力资本成本的指数增长来维持。今天，在每一个主要的云（AWS、Azure）中都有超过100个可用的服务，可以用来构建您的数据平台。还有数百种企业服务也需要与您的数据平台集成。数据主管和平台管理员的任务是提供适当的服务和产品，以满足其组织的数据需求。这些服务必须是按需、规模大、可靠、符合政策且在预算内。管理组织范围内数据平台的复杂性数据是任何组织的命脉。随着企业越来越以数据为导向，各行各业的每一个团队都在试图利用数据的力量来创新他们的产品和服务。如何创建一个企业范围内的数据、分析和ML平台，使用户易于使用，同时对管理员具有正确的可见性和控制权？异构团队拥有异构的操作产品和服务团队希望使用现成的分析工具，这样他们就可以着手解决他们试图解决的问题的实质部分。数据科学团队使用数据集构建分析模型，以回答有关业务的难题。他们使用笔记本电脑，将它们连接到数据库或数据湖，读取可能存储在云中的日志文件或本地数据存储和事件流中。他们通常使用笔记本电脑上最容易获得的工具，并使用一组具有代表性的数据来验证他们的模型。另一方面，数据工程团队正试图将这些模型投入生产，这样来自模型和应用程序的见解可以全天候提供给企业。他们需要能够根据需要扩展的基础设施。他们需要一套正确的测试和部署基础设施来测试他们的管道，然后再部署它们用于生产。脱节的解决方案很难管理解决方案不同的团队最终会构建定制的解决方案来尽快解决他们的问题。他们部署的基础设施可能不适合其工作负载的需要，并可能导致工作负载不足（资源调配不足）或成本失控（资源调配过度）。基础架构和工具可能配置不正确，无法满足组织设置的法规遵从性、安全性和治理策略，而且管理团队对此没有可见性。虽然这些团队拥有正确的专业知识来为传统的应用程序开发做这件事，但在快速变化的数据生态系统中，他们可能没有合适的专业知识或工具来完成这项工作。最终的结果是在整个组织中散布着各种各样的解决方案，它们缺乏在整个组织中扩展所需的可见性和控制力。一个易于管理的数据平台那么，要为数据平台领导者构建一个平台，让他们能够为产品和服务团队的分析需求提供数据环境，同时保持让他们晚上睡得好的可见性、控制力和规模，需要什么？我们将重点放在可视性、控制和规模作为这个平台的关键支柱上。可见性–审核和分析帐户中的所有活动，以实现完全透明通常，数据平台工程团队开始将他们的工作负载直接加载到他们管理的数据平台上。最初，带着这些工作量进入工作状态的喜悦感盖过了所产生的成本。然而，随着这些工作负载的数量和规模的增加，处理数据所需的资源和计算成本也随之增加。尽职尽责的数据平台管理员会想方设法可视化平台上的使用情况。他们可以可视化过去的使用情况，并从经验上了解平台上的使用趋势。使用情况可视化随着越来越多的产品和服务团队加入进来，使用量的激增很快超过了分配的预算。数据平台管理团队运行其业务的唯一可行方法是向产品团队发出使用计费。为了做到这一点，管理员需要访问使用正确的用法标记标记的使用日志。在这一年的运作过程中，资源的使用可能会出现高峰。很难确定这些峰值是预期的工作负载变化还是一些意外的行为，例如运行某个作业的团队出现了导致资源意外使用的错误。详细的使用日志有助于识别导致异常使用的工作负载和团队。然后，管理团队可以使用详细的审核日志来分析导致该使用的事件。他们可以与各自的团队合作，获得关于这种用法的定性信息，并对异常情况做出判断。如果工作负载的使用模式发生变化，他们可以设置自动方法，以便将来将这种使用分类为"正常"。类似地，如果这种使用实际上是一种异常，那么他们可以设置监视和警报，以便在将来实时捕获此类异常。随着数据平台领导者计划预算，过去的详细使用数据可用于建立更准确的成本、使用和投资回报预测。控制–设置用于管理用户、控制预算和管理基础设施的策略虽然可见性很好，但是在管理许多团队时，最好有主动的控制，以确保平台的使用符合策略。当新的数据科学家不受约束时，他们可能无法很好地理解运行其模型的基础设施。可以为他们提供预先配置了正确的策略强制群集、正确的访问控制以及查看和分析实验结果的能力的环境。类似地，作为自动化数据管道的一部分，数据工程师按需创建集群，并在不需要时终止集群，以便优化基础设施的使用。然而，他们可能创建的集群相当大，不符合组织的IT策略。管理员可以为这个团队应用集群策略，这样任何用户创建的集群都将符合强制的IT策略。这使团队能够以自助服务和策略兼容的方式启动资源，而不需要手动依赖于管理。设置策略以管理用户此外，管理员可以通过分配为团队动态自动扩展的基础设施池来设置正在使用的基础设施的界限。这样可以确保团队只能从池的边界内旋转资源。此外，池中的资源在不使用时可以被缩减，从而优化基础设施的总体使用。扩展–将平台扩展到所有用户、客户和合作伙伴由于数以百计的团队都加入到数据平台上，因此需要团队工作区来隔离团队soh，这样他们就可以在自己的团队中协作工作，而不会被其他在平台上工作的团队分心或影响。工作区可以完全配置为团队使用，包括笔记本、数据源、基础设施、运行时以及与DevOps工具的集成。通过为受信任的身份提供者（idp）管理的用户提供用户设置和授权，管理员可以确保正确的用户集可以使用企业范围的单点登录功能访问正确的工作区。这种隔离和访问机制确保数百个团队可以系统地共存于同一个数据平台上，允许管理员轻松地管理他们，并在全球范围内扩展平台。上面提到的平台的所有功能都应该可以通过一组丰富的restapi在一个易于使用的UI中提供给管理员。API使管理员能够自动化，并使入职团队高效、快速。整个组织内团队的工作空间使用数据块轻松地管理用户和基础设施Databricks平台有许多这样的功能，可以帮助您为组织中的各种产品和服务团队提供一个全球规模的数据平台。平台上客户的异构性和规模每天都带来新的挑战。我们正在构建更多的Databricks平台，这样您就可以按需在整个组织中按需启用一致、兼容的数据环境。在创建一个简单的、可扩展的、可生产的数据平台的过程中，了解更多其他步骤，准备好以下博客实现跨组织的大规模数据转换安全博客：开启数据湖真正潜力的安全在博客和产品自动化平台上实现自动化免费试用Databricks。今天就开始吧