云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

分布式存储_数据库项目设计_返现

小七 141 0

首先,在上一篇博客中,将HANA中存储的数据按照存取频率进行层级化,将利用频度高的数据、被求出高执行速度的对象的数据配置在HANA Cloud的存储器中,另一方面利用频度低的主要旧的数据配置在HANA Cloud、Data Lake(以下Da)本文介绍了如何将数据放置在存储基础领域。在这个剧本中,大数据的现状,主要是以事务处理系统为设想的剧本,这次是以从外部取得、独立的系统中的数据、以及拥有大量件数的数据为对象,将数据导入上次介绍的数据Lake区域,并将数据导入HANA采取与存储的数据联合的方法。可以说是设想了数据分析系统的利用方法。已经在使用中的系统的件数也可以用于大数据等的分析等,请作为参考。

关于提供HANA Cloud、Data Lake功能的架构

在上次的博客中也简单地提到了,Data Lake在拥有与HANA独立的进程的RDBMS引擎、SAP IQ(以前的名称是Sybase IQ)中提供了功能。

SAP IQ虽然是基于存储的引擎,但却是最先采用列存储型架构的RDBMS产品,在分析、统计、报告业务中,与竞争产品相比,SAP IQ也能发挥非常高速的处理性能。该列存储体系结构与许多RDBMS采用的体系结构不同,人工智能研究,具有按表所具有的列(项目)保存数据的体系结构。由此,在处理大量数据时不需要必要的调谐作业,可以发挥高的检索处理性能(分析、合计、报告)。

数据导入用存储服务

HANA Cloud为DBaS,物联智能家居,无法登录该数据库服务运行的OS。因此,无法将导入的数据放置在导入一般数据库时使用的本地目录中。因此,Data Lake提供了在Amazon Web Service S3或微软Azure Blob store中配置数据,然后直接从中导入的方法。另外,HANA Cloud本身也在微软Azure、Amazon AWS、Google Cloud Plaatform等被称为Hyper Scar的云服务上运行。

本次介绍使用Amazon AWS3的步骤。另外,以下SAP HELP Portal也有教程手册,请根据需要参考

SAP HANA Cloud、Data Lake Quick StartTutorial〔Microsoft Azure〕

SAP HANA Cloud、Data Lake Quick Start Tutorial[Amazon Web Services]

执行前提条件

以下步骤时,请参照以下标准需要准备。

此博客的步骤已完成。使用同一用户或模式。对AWS 3区段内的对象的读取访问权AWS S 3桶内的CSV文件请使用CESU-8字符编码

请从这里获取本博客使用的CSV文件的样品。单击"Code"按钮,选择"Download ZIP",下载样本文件。

将在任意文件夹中获取的ZIP文件解冻。

接下来,为了使用AWS S3,登录AWS管理控制台,打开S3服务的控制台。这里不涉及AWS S3的使用开始,请在获取有效账户后继续使用。在AWS3 Management Constore中,制作保存导入用文件的Bucket。这次的名字是"lake import"。因为这个名字在S3的服务中必须是独特的,所以请大家自己取任意的名字,在以下步骤中反映那个名字。将上述下载后解冻的CSV文件上传到那个桶里。

启动上传向导后,选择要上传的文件。该向导在选择文件后,可以按照"设置访问许可"、"设置属性"等步骤进行,但是这次不会变更特别添加的访问权限和保存的文件的属性。请根据实际运用讨论必要的设置。选择完文件后,大数据是数据,单击"上传"按钮。

文件上传完成后,获取提供从外部服务访问这些AWS S3 Bucket文件的路径名称和Bucket服务的区域名称。

首先是路径名,请单击列表中的任意文件。因为要移动到那个文件的属性画面,所以请点击那里的"复制路径"按钮。显示"复制到剪贴板"的信息,请粘贴到文本编辑器中,获取该文件在AWS3服务中的路径名称。此值是稍后输入命令中所需的区段路径名称。另外,本次的博客导入了多个文件,但最后的文件名只是不同,这个确认只实施一个文件就足够了。

接下来,确认该AWS 3文件保存在哪个区域。再次返回文件列表画面。这个文件是哪个区域提供的显示在以下部分。

在本例中为"EU(法兰克福)"。因为S3的Bucket是无法指定区域的规格,所以制作Bucket后需要确认。因为这里使用的是日语的控制台,所以会显示上面的内容,但是稍后要导入的话需要英文名(Code),请从这边的AWS网站确认一下。在这个博客的例子中,可以确认"欧洲(法兰克福)"是"eu-central-1"的Code。

接下来,为了从Data Lake的服务访问该文件,需要访问这些AWS 3文件的"ACCESS KEY ID"和"SECRET ACCESS KEY"。显示S3 Management Connsole右上角的S3账号的地方有下拉菜单,展开这个,从中点击"我的安全资格信息"。

单击安全认证信息画面中"CLI、SDK、&API访问所使用的AWS访问键"类别中的"创建访问键"。如果您已经有使用的访问钥匙信息的话,可以使用那里。

点击后会立即生成"ACCESS KEY ID"和"SECRET ACCESS KEY",点击"CSV文件的下载"后,可下载记述了该值的文件。

下载文件中包含的逗号隔开的2个值将按照以下步骤使用,请保存。导入数据的准备到此结束。

HANA Cloud的SQL控制台的准备