云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

网站建设_scifinder数据库_测评

小七 141 0

根据类型、操作有用性、访问频率和安全要求将数据移动到最适合组织需要的存储位置是一项持续的业务挑战,特别是考虑到企业数据量的每日增长。

这种数据分层不仅有助于平衡SAP HANA数据库的整体性能,而且如果有效执行,还可以降低整个企业的成本和复杂性。到目前为止,我们的数据分层博客系列已经介绍了SAP HANA热数据和热数据分层的选项,今天我们将重点放在最低温度层:冷数据。

冷数据分层指的是存储频率较低,或者偶尔访问低成本介质中的数据,如HDFS(Hadoop分布式文件系统)和云存储选项,包括Amazon Web服务(AWS)、Google云平台(GCP)和Azure数据湖存储(ADL),这些存储选项与SAP HANA数据库分开管理,但仍然可以随时访问。将冷数据从SAP HANA数据库中分离出来,通过将表或分区从SAP HANA移动到外部存储(主要是只读数据访问)以及单独的高可用性、灾难恢复和加密,减少了数据库占用空间,和管理功能。

有两种方法可以访问SAP HANA冷库选项:SAP Data Hub和SAP HANA Spark Controller。让我们仔细看看这两个方面。

部署在Kubernetes集群中的SAP Data Hub分布式运行时引擎(也称为Vora)可以将冷数据持久化到基于磁盘的流表中。从技术上讲,SAP HANA将这些流表视为虚拟表。涉及来自SAP Data Hub的虚拟表的SAP HANA查询通过带有SAP HANA智能数据访问(SDA)的VoraODBC适配器执行,如下图所示。

SAP Data Warehouse Foundation(DWF)软件的数据生命周期管理工具(DLM)促进了内存中SAP HANA之间数据的双向移动(热)、SAP HANA动态分层和扩展节点(热)和Vora流表(冷)。我们的下一篇博客将详细介绍SAP DWF/DLM工具的功能。

SAP HANA cold data tiering通过利用SAP HANA Wire协议在SAP HANA和Vora流表之间进行数据移动和下推,提供优化的集成。SAP HANA Wire支持多种数据类型,以更好地与现有SAP HANA数据类型保持一致。

最后,SAP Vora中的SQL导出功能还可用于将数据从流表复制到外部云存储选项。

SAP客户使用的第二个选项是通过SAP HANA Spark Controller对冷数据进行内存访问。Spark Controller在Hadoop发行版上组装、安装和配置,云报,如MapR、Cloudera发行版Hadoop、SAP云平台大数据服务,怎么成为淘客,Hortonworks数据平台和Azure HDInsight在SAP HANA平台中提供,并在熟悉的Spark群集环境中运行,以提供对存储在外部HDFS和ADLS数据文件中的冷数据的访问。

Spark Controller允许SAP HANA通过SparkSQL SDA适配器访问冷数据。此适配器通过使SAP HANA能够以压缩的列格式获取数据来调节查询执行和数据传输。它还支持SAP HANA特定查询优化和安全通信。

通过使用SAP DWF/DLM,SAP HANA可以通过Spark控制器访问已重新定位到分布式文件系统(DFS)的冷数据,热/热数据可以重新定位或老化到Hadoop,并直接存储在DFS中。

而两种冷数据分层选项都允许冷数据与更频繁访问的公司数据相结合,两者兼而有之简单快速,SAP建议使用SAP Data Hub over the Spark Controller.

为什么?首先,Spark控制器依赖于外部开源社区进行版本更新,其更改可能会影响Spark控制器的使用。另一方面,图数据库有哪些,SAP Data Hub与SAP HANA完全集成并优化。更重要的是,数据集线器允许在记录级别访问冷数据,而不是使用Spark Controller仅在文件级别访问。SAP Data Hub允许插入、持久化、删除和更新冷数据,而Spark controller主要支持只读方案。

具有分布式运行时,也允许SAP Data Hub读取和分析其冷数据和/或将数据与存储在第三方外部数据池中的其他冷数据相结合。

但是,需要注意的是,Spark Controller和Data Hub都不支持高级SAP HANA数据类型。DWF/DLM工具负责在SAP HANA和Spark Controller/data Hub之间使用支持的数据类型进行数据重定位。而且,尽管考虑到SAP HANA可用的最低成本数据分层选项能够部署到灵活和可扩展的商品硬件数据库,淘客qq群,但在任一选项下的性能都可能受到几秒钟或最多一分钟的延迟的影响。

SAP HANA Spark控制器将作为SAP云中的托管服务进行部署平台大数据服务(BDS)。BDS非常适合存储大量不常访问的冷数据,用户可以在需要时通过SAP HANA SDA数据虚拟化功能通过安全加密的连接查询这些数据。而且,大数据提供,通过两种产品之间的全面管理集成,SAP提供了一个单一供应商的统一大数据解决方案的简单性,而不是与管理Hadoop和多个供应商的可扩展云数据存储解决方案的复杂性作斗争。