云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

CDN_网站建设科技公司_免费领

小七 141 0

1介绍2创建自定义运算符2.1. 自定义操作员–配置2.2. 自定义运算符–脚本三。创建管道4结论

在SAP Data Hub中,不同的数据管理和处理活动(如在数据池中读/写文件、在数据库中运行SQL语句或运行Python脚本来训练机器学习模型)由所谓的操作员实现。操作符是sapdatahub的pipeline运行时中的基本工作单元,通常在我们称之为图(或管道)的链中执行。SAP Data Hub拥有100个标准操作员,可实现最多样化的开箱即用任务。

图1–典型的SAP Data Hub管道

然而,有时,人们可能仍希望执行现有标准操作员通常无法完成的任务。一个常见的例子是利用hanapythonclientapi进行机器学习(aka HANA\u ml)在HANA上运行ml命令,而不必为PAL和APL算法编写复杂的SQL包装程序。在sapdatahub中,可以通过在Python操作符中编写自己的自定义Python代码来实现这一点。我的一位同事Stojan Maleschlijski在最近的博客中描述了这一点:

https://blogs.sap.com/2019/09/27/installing-python-packages-from-tarballzip-files-into-sap-data-intelligence-an-example-with-hana\u ml/

在Data Hub中编写自定义代码时,基本上有两种选择。如果这是一个独立的操作,您不希望再次执行,那么可以直接在图中的基运算符(例如Python3运算符)中编写自定义代码,类似于Stojan Maleschlijski在其博客中所做的操作。或者,如果您希望重新使用该代码和/或希望与其他用户共享该代码以实现可重用性,建议您创建一个自定义操作符。自定义运算符通常基于基本引擎(例如Python、JavaScript、Go等),品高云,并通过使用基本引擎支持的编程语言编写脚本来开发。除了脚本之外,与直接在脚本运算符中编写代码相比,自定义运算符添加的其他重要功能包括添加自定义参数和定义自定义标记(即,定义哪个docker映像应用作此运算符的运行时)的能力。自定义操作符的标记在其他博客中已经得到了广泛的探讨,因此我将不再重温。欲知更多详情,请阅读Jens Rannacher的博客:

https://blogs.sap.com/2018/01/23/sap-data-hub-develop-a-custom-pipeline-operator-with-own-dockerfile-part-3/

在这个博客中,Jens Rannacher还探讨了如何为自定义操作符定义自定义参数。特别是,物联网协议,他添加了3个简单的文本参数,然后在Python脚本中使用这些参数。然后,他展示了如何在图形执行运行时使用在图形配置中设置的参数值。例如,如果自定义运算符有一个名为customParam的自定义参数,则可以在运行时通过指向api.config.customParam在Python脚本中。vflow api非常强大,特别是它使我们能够通过api.config文件但是,如果我们想创建一个更复杂的参数,而不仅仅是一个简单的字符串呢?看看sapdatahub中的几个标准操作符,我们可以观察到更复杂的参数类型,包括单选按钮、下拉框和更复杂的参数,例如,用于从连接管理器中选择连接的参数类型(或手动输入连接详细信息)。下面是此连接参数的屏幕截图。

图2–连接选择屏幕

当需要为自定义代码提供系统的连接详细信息时,此类型的参数特别方便,而且此系统恰好已作为SAP Data Hub的连接管理器中的托管连接进行维护。它避免了开发人员在代码中透明地硬编码连接细节,返利商城系统开发,包括用户和密码,以供任何人(有访问权限)查看,例如上面提到的Stojan Maleschlijski博客中的示例;更进一步,它避免了开发人员必须完全了解连接细节。

在接下来的会话中,淘客软件,我们将探索如何创建具有连接类型的自定义Python操作符,以及如何使用Python脚本中的连接细节。

为了本练习的目的,我们将基于Python3引擎创建一个自定义操作符,类似于前面提到的Jens Rannacher的博客中描述的操作符,以应用决策树模型在HANA PAL中,以前经过训练(并保存到表中)。根据Stojan Maleschlijski的博客中的解释,还假设已经创建了一个带有hana\u ml python api的自定义dockerfile。

为此,在Pipeline Modeler的导航窗格(左侧调色板)中,转到Operators选项卡并单击顶部菜单上的"+"按钮。输入所需的任何名称和描述,选择"Python3操作符"作为基本操作符,然后输入类别或将其保留为空–如果将类别保留为空,则从导航窗格中选择时,新操作符将添加到"其他"类别。单击OK。

图3–创建操作员屏幕

创建后,您可以在导航窗格的Operators选项卡中搜索新自定义操作员的名称,它也将在编辑器视图中打开。

如果您愿意,请添加自定义图标(使用.svg文件)。在我的例子中,我使用SAP徽标作为我的自定义图标。

在第一个选项卡("端口")中,为操作员创建必要的端口。在我的例子中,我只创建了一个名为"Output"的输出端口,类型为"string"。

图4–自定义操作员–端口