目前市值排名前四位的公司（微软、苹果、AMZN、GOOG）都是软件公司，它们的业务都是基于数据的。这与十年前的情况完全不同。各个细分市场的企业都开始通过数据确立主导地位。正如一位银行高管最近告诉我的："我们不是金融公司，而是数据公司。"为什么每个公司都是数据公司（而每种产品都是数据产品）？下一波在各个领域占据主导地位的公司，在幕后，将是数据公司。这就需要一个数据平台来驱动每个员工的决策，同样重要的是，数据产品也是如此？一种金融工具，比如有信用额度的信用卡，可以成为一种数据产品。它的竞争优势来自于对海量数据的处理。基因组测序是一种数据产品。火星上的生命是一种产品。为了实现我们所说的大规模数据转换，您需要将您的所有用户和所有数据汇集在一起，然后为他们提供所需的工具和基础设施，以便他们在遵守企业安全协议的同时获得洞察力。您需要一个能够扩展到每个部门和每个团队的企业数据平台。那为什么事情变得越来越难，而不是更容易？您的数据变得更加敏感了—数据的规模正在以指数级的速度增长，但它分散在不同部门的不同系统中。如何确保正确的用户可以访问正确的数据，并且这些数据都是集中监控和审计的？同时，你如何遵守国际法规？你的成本很难控制——每个组织都面临着用更少的钱做更多事情的压力。数据的指数增长并不能证明数据基础设施成本的指数增长是合理的。当您无法了解谁在用什么数据做什么时，就会导致成本失控—基础设施成本、数据成本和劳动力成本。数据项目很难管理–当不同团队（业务分析师、数据科学家和数据工程）部署由IT、安全和DevOps管理的不同技术时，您如何从开始到结束跟踪一项计划？？哪些项目正在生产中？我们如何将其货币化？如果一个应用程序宕机了怎么办？从小规模成功到企业范围内的数据转换的复杂性是巨大的。麦肯锡的一项调查显示，只有8%的企业成功地在整个组织内扩展其数据和分析实践1。管理人员需要一个全面的战略来在整个组织中扩展数据对这些挑战不熟悉的企业可能会采取增量方法，或者采用本地解决方案并将其转移到云端。但是，如果没有一个整体的方法，你就要把一个过时的架构换成另一个无法长期应对挑战的架构。以下5个步骤可以确保您正在朝着一个经得起时间考验的系统前进。第一步：把你所有的数据集中起来几十年来，数据仓库一直被用于聚合结构化业务数据，并通过在可视化工具上创建BI仪表盘来做出决策。数据湖的到来，以其诱人的缩放特性和对非结构化数据的适用性，对实现数据科学和机器学习至关重要。如今，Data Lakehouse模型将数据仓库的可靠性与数据湖的可扩展性结合起来，使用一种开放的格式，如Delta Lake。无论您选择何种架构，请选择一种结构，该结构可以将所有结构化和非结构化数据以开放格式存储，以便长期控制，适合于通过一系列快速发展的技术进行加工。步骤2：使用户能够安全地访问数据确保您的数据团队中的每个成员（数据工程师、数据科学家、ML工程师、BI分析师和业务决策者）能够访问他们需要的数据，而没有任何数据是他们无权访问的）。这意味着要遵守各种法规，包括GDPR、CCPA、HIPAA和PCI）。重要的是，你的所有数据以及所有与之交互的人都必须保持在同一个地方。如果你通过将数据复制到一个新的系统中（例如为你的BI用户建立一个数据仓库），你就有了数据漂移，这导致了第3步中的问题。这也意味着你有了"真相"的漂移，组织中的某些信息过时或质量不同，导致（最多）组织不信任和（更有可能）糟糕的业务结果。第3步：像管理业务一样管理数据平台当你为一个新员工工作时，你为他们的成功做好了准备。他们得到了正确的电脑，访问了正确的系统等等。你的数据平台应该是一样的。由于您的所有数据都在一个地方，因此每个员工都可以根据他们的角色和职责看到数据的不同方面。而且这种数据访问需要与您管理其他员工入职的方式保持一致；一切都必须与您的入职系统相关联，实现自动化和审核。第4步：利用云本地安全随着云计算已经成为海量数据处理和ML的实际目的地，核心安全原则已经重新制定为云本地安全。"内部部署"安全的DMZ和外围安全被"零信任"和"软件定义的网络"所取代。物理门上的锁已转变为现代加密技术。因此，您必须确保您的数据处理平台是为云设计的，并充分利用一流的云本地控制。此外，云审计和遥测通过云本地工具提供了数据访问和修改的记录，因为每个用户都使用自己的身份访问数据。这使得第3步成为可能-您管理公司的组被强制执行，并且可以审计到云本地安全原语和工具。第五步：自动调整规模无论是将您的平台推广到数百个业务部门，还是成千上万的客户，都需要从一开始就实现自动化，这就要求您的数据平台可以在无需人工干预的情况下进行部署。此外，对于每个工作区（业务单元的环境），必须以自动化方式配置数据访问、机器学习模型和其他模板，以便为您的业务做好准备。但是，要实现这一规模，还需要强大的控制能力。随着数百万台计算机在你的指尖上的计算，你很容易产生一笔庞大的账单。要在整个企业的各个部门部署正确的支出政策和费用分摊，就必须设计出能够确保按照企业预期部署电力。API可以自动化所有事情，从提供用户和团队工作区到自动化生产管道、控制成本和衡量业务结果。一个完全自动化的平台是您的企业所必需的。成为你必须成为的数据公司是时候开始作为一家数据公司展开竞争了。世界各地的企业都是通过将数据块放在核心位置来完成这一旅程的。一家大型现代银行每天使用数据库处理1300万终端用户的2000万笔交易，以检测信用卡欺诈和其他许多使用案例。他们已经能够实现数据访问的民主化，因此5000名员工可以根据数据做出决策。世界上最大的食品和饮料零售商之一运营着超过220条生产线，在Databricks平台上拥有667 TB的数据和70多个已发布的数据产品。我们看到了商业领域数据革命的开始，并很高兴看到这条路将我们带向何方。不管您选择了什么平台，都要将这五个步骤结合起来，以确保您设计的平台能够在未来几年内交付使用。资源：要了解更多信息并观看实际演示，请注册参加网络研讨会通过阅读以下博客详细了解每个步骤安全博客：开启数据湖真正潜力的安全管理博客：轻松交付和管理云级企业数据平台在博客和产品自动化平台上实现自动化1https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/ten-red-flags-signaling-your-analytics-program-will-fail免费试用Databricks。今天就开始吧