云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

云数据库_长沙品牌网站建设_年度促销

小七 141 0

简介

我想分享我在BW系统中开发"伪实时"的经验,大数据学习,没有HANA,数据量大。

我在一个零售项目中完成了这个任务。客户希望每15-20分钟更新一次分析报告中的数据—主要交易数据包括POS系统的检查、ERP的变动、库存、销售等。

问题描述

如果我们在传统数据库(如Oracle、MSSQL、,Sybase等)包含大量的数据(例如一年5000万行的事务数据),云指,这样的任务会给我们带来几个严重的问题:

如果我们使用股票信息立方体的"切片方案"而不是非累积的,任务就更复杂了。在这个方案中,大数据分析软件,我们每天都存储库存,而不是通过非累积的方法"动态"计算库存。这种存储库存的方法在零售项目中非常流行,因为它提供了读取库存数据的高速率,但它会导致infocube中出现大量行。

解决方案

因此,德国云服务器,我的解决方案的想法是将当天的数据存储在不同的infocubes中。例如,我们有一个带有POS数据ZRT\U C01的大infocube,它包含2亿行数据,并且有几个聚合。

我们制作了一个具有相同转换的infocube ZRT\U C02副本。创建一个信息源并将所有逻辑放在信息源之前是很有用的,这允许在某些更改的情况下更改一次逻辑。

第二个infocube ZRT_C02只包含今天的数据。白天我们在这个立方体中加载delta。它的数据量非常小,所以我们不需要对它进行聚合。我们可以在一个并行进程中加载数据,网站用云服务器,而不必重建索引,但无论如何,在这种情况下重建索引并不需要很长时间。

此外,在夜间数据加载期间,我们还可以做以下操作:

第三步应该加上注释,因为它不能通过进程链的标准元素来实现。在这一步中,我们需要在"初始化"模式下调用数据传输流程,

我们可以手动操作–将DTP模式设置为"无数据传输;源中的增量状态:已获取",但在流程链中没有标准流程。为了实现自动化,我们需要编写一个ABAP程序并将其包含到进程链中。例如,本博客中描述了该程序:https://blogs.sap.com/2014/08/22/使用init自动执行dtp,无需数据传输处理模式/。

因此,我们有两个主要的流程链:

两个infocubes都包含在一个multi-cubes中并同时工作。主多维数据集提供今天之前的所有数据,次多维数据集提供今天的数据。

在我的项目中,这种方法允许伪实时,每15分钟更新一次关键事务数据,并且不损失报告速度。