超越"现代"数据架构2020年4月9日|4分钟读取作者：耶利米·汉森雪花思维领导力"现代"数据架构如果你让几乎所有数据工程领域的领导者在白板上绘制一个"现代"的数据架构（或者你在网上搜索），你肯定会得到如下结果： 但是这种基于系统的体系结构有什么现代感呢？它已经存在了将近10年，并没有太大变化。该体系结构由三个主要组件组成：数据仓库数据湖数据集市（或服务层）首先是数据仓库。由于传统的数据仓库无法扩展以满足不同的、相互竞争的工作负载，因此需要有单独的数据集市和数据湖。数据集市的出现是因为中央数据仓库无法扩展以满足最终用户的不同工作负载和高并发性需求。然后出现了数据湖，因为企业数据仓库无法存储和处理大数据（在数量、种类和速度方面）。创建数据湖和数据集市是为了满足当时数据工程领域的实际需求。即使在今天，数据仓库仍然无法支持企业中的所有不同工作负载。即使是较新的云数据仓库也是如此。这些完全不同的数据系统的结果是孤立的数据，这对于从中获取业务价值和安全地管理非常具有挑战性。但是雪花云数据平台极大地改变了数据环境，消除了为每个工作负载使用单独系统的需要。雪花可以是您的数据仓库、数据集市和数据湖。这就要求我们在数据工程领域以不同的方式思考我们一直在做的事情。它要求我们理解为什么我们一直在以某种方式做事，并挑战我们的假设。以不同的方式看待数据在过去的几年里，我注意到，随着数据架构师开始使用雪花，他们继续依赖于基于遗留系统的数据架构设计，只将雪花用作数据仓库，或者可能将其扩展一点，以包括一些数据集市。大多数人继续主张在雪花之外维护一个独立的基于文件的数据湖，即使是从头开始构建一个。但既然雪花可以取代所有这些系统，为什么还要继续这样想呢？为了向前迈进，我们需要停止从现有类型的系统（如遗留数据仓库、数据集市和数据湖）来考虑数据。这样做是没有帮助的，它在企业数据环境中引入了一个不自然和人为的边界这里有一个关于如何以不同的方式看待数据的建议。在较高级别上，您可以将所有企业数据分组到以下逻辑数据区：所以，让我们开始考虑数据的区域，比如这里，而不是系统。旧的基于系统的思想将继续使数据工程专业人员锁定在旧的工作方式中，并将继续分割数据景观。使用Snowflake，无需将数据区域划分为不同的、孤立的数据系统，如：当像雪花这样的单一平台可以打破这些筒仓时，为什么还要再沿着这些思路思考呢？与其按照系统思路思考，我们应该考虑为所有企业数据提供一个单一的平台，例如：为所有企业数据提供一个平台如今，有几种名称用于标识数据的位置和使用方式，包括操作数据存储（ODS）、企业信息工厂（CIF）、数据仓库、数据集市等等。每个术语都代表了在企业中对数据进行分组的不同方式。但不幸的是，今天这些不同的数据组代表不同的数据系统。让我们开始从区域（或数据类型）的角度来考虑数据，而不是系统。我们的目标绝不是将数据环境分割成多个不同的系统，尤其是数据仓库、数据集市和数据湖。我们需要停止做事，因为"他们一直都是这样做的"，并重新思考我们要实现的目标。我认为，目标应该是为所有企业数据提供一个平台，例如：雪花云数据平台可以支持您的所有数据仓库、数据湖、数据工程、数据交换、数据应用和数据科学工作负载。仅支持前两个工作负载，就可以将数据仓库、数据集市和数据湖整合到一个平台中。大多数其他的"云"数据仓库都是20多年前设计的，现在已经转移到了云上。他们无法真正利用云的可伸缩性。而那些最近设计的系统并没有提供完整的企业数据管理体验，提供治理、ACID兼容事务、实时数据共享、跨云全球足迹、全面管理服务等。雪花是唯一跨云、全球云数据平台。是时候开始对我们的数据进行不同的思考了。就像你读的？通过喜欢和分享来表达你的感激之情！Facebook推特LinkedIn