云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

域名交易_mysqldump导出数据库_便宜的

小七 141 0

利用HVR和Snowflake将SAP数据转换为洞察力(第1部分)

利用HVR和Snowflake将SAP数据转换为洞察力(第1部分)2020年4月14日|7分钟读取作者:约翰·冈塔兹|供稿作者:马克·范德维尔如何使用雪花,雪花技术对于任何运行SAP应用程序的组织来说,SAP应用程序都是非常有价值的数据的丰富来源,但这些数据不仅对运行SAP应用程序的公司有价值。对于公司合作的客户、合作伙伴和供应商来说,这一点即使不是更重要,也同样重要。根据SAP的数据,全球77%的交易收入都会在某个时候涉及到SAP系统,如果您正在阅读此博客,您很可能是使用SAP运营业务的数千名客户中的一员。本博客的目的是解释如何使用雪花云数据平台中的SAP数据作为ELT工作流的一部分。它有两部分第1部分介绍了用于启用工作流的HVR和Snowflake技术,并解释了HVR如何将SAP中的数据复制到Snowflake中。第2部分介绍了一种将雪花中复制的SAP数据转换为多维星型模式的方法。本博客涵盖的工作流程侧重于SAP ERP产生的财务数据,但所介绍的方法几乎适用于SAP生态系统中的任何组件,包括但不限于:企业资源计划客户关系管理产品生命周期管理供应链管理供应商关系管理S/4HANA公司还有更多…与我共事的大多数客户都在寻找更快、更便宜、更简单的方法,从他们的SAP数据中获取更多价值。他们希望结合SAP和非SAP数据,运行分析工作负载,运行机器学习工作负载,执行历史分析,并挖掘以获得更深入的见解。从历史上看,最佳实践要求将事务处理(OLTP)和分析工作负载(OLAP)分开,这在今天和20年前一样正确。无论SAP应用程序的基础数据库是什么,都不能在运行OLTP应用程序的同一个数据库中有效地运行资源密集型的大型OLAP工作负载,而不发生资源争用。最有效的选择是从事务性源系统复制数据并加载到数据仓库中。这就是HVR和雪花进来的地方。高压断路器HVR是1-800 Flowers和Suez等组织选择的实时数据复制解决方案,因为它能够将各种来源的大量数据复制到云数据仓库中。它非常适合将包括SAP在内的操作系统中的数据传输到分析环境中,原因如下:效率基于日志的变更数据捕获(CDC)是一种在不影响事务处理系统的情况下实时检索增量变更数据的有效方法。HVR支持多种数据库技术的基于日志的CDC,包括常用于SAP的技术,如Oracle、sqlserver、DB2和saphana。性能HVR部署在分布式体系结构中,实现了以下方面的优化:访问数据源和事务日志网络通信,数据总是在网上压缩将变更数据交付到目标中,实现快速数据加载的最佳实践在分布式设置中,HVR演示了单个源每小时处理几百gb的变更数据量。安全在系统之间移动数据,尤其是将数据移入云端会带来数据泄露的风险。HVR的分布式体系结构的特点是在线数据加密,以及灵活的身份验证选项和使用代理,以尽可能少地打开防火墙。灵活性HVR提供了一种有效的方法来增加目标上的数据并执行常见的行级转换:包括包含复制时间戳、源系统名称等信息的额外列。将源中的删除操作转换为软删除,以将行标记为已删除。为每个行更改创建更改的审核跟踪。对SAP的集群和池表数据进行解码。雪花雪花云数据平台是从头开始构建的,可以在云中运行,无论是在AWS、Azure还是最近的GCP中。雪花非常适合管理和理解SAP数据,原因有很多:易于开发Snowflake是一个SQL数据平台,这意味着如果你知道如何编写SQL,你就可以立即开始构建数据管道和分析,不需要采购硬件,也不需要安装和配置软件。当你注册了一个雪花帐户,你马上就有了一个安全的平台,具有无限的可扩展性。性能雪花在执行数据工作负载方面优于传统方法。计算资源以雪花般的速度线性扩展,而高效的查询优化只需传统云或本地系统所需时间的一小部分。性能挑战可以在几秒钟内解决。您可以根据最初需要的性能指定计算集群的大小。但您可以随时调整大小,即使在工作负载正在运行时也是如此。可扩展性雪花存储可以扩展到您需要的任何大小,因为我们的持久层是超大规模云提供商blob存储。对于compute,Snowflake允许客户创建虚拟仓库(计算引擎),它可以针对同一数据运行多个工作负载,而不必争用资源。随着多集群数据仓库功能的引入,Snowflake允许客户动态或自动扩展和负载平衡,增加/减少并发用户数(查询),多集群仓库为无限多的并发用户提供一致的SLA。数据共享在开场白中,我们提到了SAP数据在组织内部和外部的价值。雪花数据共享是雪花在共享数据和使用共享数据方面的一个强大但易于使用的功能。在几分钟内,您可以为组织内部或外部的任意数量的数据使用者提供对雪花存储的任何数据的实时访问,而无需移动或复制数据。跨公司部门、外部数据消费者和业务合作伙伴共享数据,以轻松支持更丰富的分析、新的业务模式和数据驱动的计划雪花成本模型每秒,基于使用量的计算和存储定价意味着您只需为存储的数据量和使用的计算处理量付费。这意味着无需大量的前期成本、过度配置的系统或闲置的集群消耗资金。在雪花上发展很有趣雪花(Snowflake)是一个全新的云端平台,它利用了云端提供的功能。它不需要担心硬件、软件需要安装和调整,而且还有一个庞大且不断增长的技术合作伙伴生态系统,如HVR,开发人员从平凡的数据仓库任务中解脱出来,可以轻松地以传统技术无法实现的方式进行开发和创新。Snowflake还支持通过多种方式连接到服务的现代可编程性,包括ODBC和JDBC驱动程序;对Python、Spark、Go和.NET的支持;以及使用Kafka和Spark流的连接。从SAP复制数据当托管SAP的数据库是HVR支持的数据库之一(包括Oracle、SQL Server、DB2和SAP HANA)时,HVR支持从SAP应用程序复制基于日志的数据。SAP ECC软件套件于2004年首次发布,至少支持到2027年,并将支持扩展到2030年,目前仍是SAP最常用的部署版本。许多ECC部署都有三种不同类型的存储ERP数据的表:透明表,在SAP查看表的方式和数据库表之间有一对一的映射。透明表中的数据在数据库中很容易读取。池表,多个应用程序表映射到单个数据库表,数据以二进制、压缩和编码格式存储。集群表,一个或多个应用程序表映射到单个数据库表,数据以二进制、压缩和编码格式存储。应用程序透视图中的单个记录可能跨越数据库表中的多行。SAP的一些最重要的数据驻留在集群表中。HVR基于日志的数据复制总是使用数据库事务日志来确定应用程序的更改,而与表类型无关。对于pool和cluster表,使用单独的SAP转换对数据进行解压缩和解码,以便它可以用于基于SQL的系统中,如雪花(Snowflake),这些系统无法执行SAP的专有ABAP代码。注意HVR的SAP转换不使用ABAP,也不需要访问SAP的应用服务器。相反,转换在复制流的下游运行,远离SAP应用程序。HVR对在通道中作为事务一致集复制的表进行分组。通常,HVR从数据库的数据字典中导入表定义来向通道添加表。对于saperp源,HVR与SAP字典集成,以支持池和集群表的最新定义,包括可能已添加的任何自定义Z列(示例见下图)。为了方便数据的下游处理,可以向目标上的所有表添加两个额外的列:删除,将从源中删除的行标记为已删除,而不是物理删除(软删除)r\u datetime记录行应用于目标时的时间戳HVR使用动作定义这些额外的列,如下所示。通道定义完成后,使用HVR:初始化复制并开始捕获更改。刷新初始加载的目标。注意HVR可以为您创建目标表,将源数据类型映射到兼容的、无损失的数据类型o