DataService操作手册

由天下分享时间：2025/1/16 6:16:04 加入收藏我要投稿点赞

DataServices培训总结-操作手册

一、DS简介 ............................................................................................................................. 2 二、DS数据加载方式 ............................................................................................................. 2 三、DS进行数据抽取模型开发的基本过程 .......................................................................... 3 四、DS创建数据源系统和目标系统的数据存储 .................................................................. 3

1、Oracle数据库作为数据源系统 ................................................................................. 3 2、ECC作为数据源系统 .................................................................................................. 4 3、HANA数据库作为目标系统 ...................................................................................... 5 五、全量加载过程 ................................................................................................................... 5

1、创建Project和Job ..................................................................................................... 5 2、导入源表的元数据到资源库 ..................................................................................... 6 3、创建Data Flow............................................................................................................ 6 4、设置源表和目标表 ..................................................................................................... 7 5、手工执行Job .............................................................................................................. 7 六、基于表比较的增量加载 ................................................................................................... 8

1、在Job下定义工作流 ................................................................................................. 8 2、在工作流中定义数据流 ............................................................................................. 8 3、加入Table_Comparison控件 ..................................................................................... 9 4、设置Table_Comparison控件 ..................................................................................... 9 七、基于时间戳的增量加载 ................................................................................................. 10

1、在Job下定义工作流 ............................................................................................... 10 2、定义Script控件 ....................................................................................................... 10 3、定义处理新增数据的数据流和处理更新数据的数据流 ....................................... 11 八、DS中常用控件介绍 ....................................................................................................... 13

1、Key_Generation ......................................................................................................... 13 2、Case ........................................................................................................................... 13 3、Merge ........................................................................................................................ 14 4、Validation .................................................................................................................. 15 5、设置过滤器和断点 ................................................................................................... 15 九、定义Job定期执行 ......................................................................................................... 16

1、登录Data Services Management Console ................................................................ 16 2、定义Batch Job Schedules ......................................................................................... 17 十、其他注意事项 ................................................................................................................. 18

一、DS简介

SAP BusinessObjects Data Services是通过SAP HANA认证的ETL工具。采用数据批量处理的方式，定期执行后台作业，将数据从多个业务系统中抽取出来，并进行必要的处理（转换，合并，过滤，清洗），然后再加载到HANA数据库中。 DS的组件之间的关系：

? Management Consol：

管理控制台是网页版DS管理工具，可以进行一些系统配置和定义Job执行 ? Designer： Designer是一个具有易于使用的图形用户界面的开发工具。它允许开发人员定义包括数据映射，转换和控制逻辑的数据管理应用程序，创建包含工作流（作业执行定义）和数据流（数据转换定义）的应用程序 ? Repository：应用程序设计器使用的本地资源库用来存储Data Services对象（如项目，作业，工作流，和数据流）的定义和源和目标的元数据 ? Job server：

作业服务器启动数据移动的从多个不同种类的源集成数据的引擎，执行复杂的数据转换，并管理从ERP系统和其他源的抽取和事务

二、DS数据加载方式

? 全量加载 ? 增量上载

a) 基于表比较作业在执行时读取数据源和目标中的全部数据，在服务器的内存中进行比较，计算数据差异

b) 时间戳增量需要在数据源中添加时间戳字段，一般为创建时间和最后修改时间，在抽取作业中定义对两个时间戳字段进行对比，符合条件的创建时间条目进行插入，符合条件的修改时间条目进行更新

c) 利用数据库CDC（changed data capture）首先需要开启数据库的CDC服务，为数据库实例启用CDC功能，为源表启用CDC功能。在这种模式下，DS的增量更新不再直接访问源表，而是在与源表相关的变更记录表中读取增量

三、DS进行数据抽取模型开发的基本过程

? ? ? ? ? ?

为数据源创建数据存储导入源表的元数据到资源库

为SAP HANA目标系统创建数据存储新建DS项目和批量作业

新建DS数据流：定义源表和目标表，定义变量、编辑Query和Map_CDC_Operation 执行批量作业

四、DS创建数据源系统和目标系统的数据存储 1、Oracle数据库作为数据源系统