DataService-操作手册

DataServices培训总结-操作手册

目录

一、DS简介.................................................................................................................................... 2 二、DS数据加载方式 .................................................................................................................... 2 三、DS进行数据抽取模型开发的基本过程 ................................................................................ 3 四、DS创建数据源系统和目标系统的数据存储 ........................................................................ 3

1、Oracle数据库作为数据源系统 ........................................................................................ 3 2、ECC作为数据源系统 ....................................................................................................... 4 3、HANA数据库作为目标系统 ........................................................................................... 5 五、全量加载过程 .......................................................................................................................... 5

1、创建Project和Job ............................................................................................................ 5 2、导入源表的元数据到资源库 ............................................................................................ 6 3、创建Data Flow .................................................................................................................. 6 4、设置源表和目标表 ........................................................................................................... 7 5、手工执行Job ..................................................................................................................... 7 六、基于表比较的增量加载 .......................................................................................................... 8

1、在Job下定义工作流 ........................................................................................................ 8 2、在工作流中定义数据流.................................................................................................... 8 3、加入Table_Comparison控件 ........................................................................................... 9 4、设置Table_Comparison控件 ........................................................................................... 9 七、基于时间戳的增量加载 ........................................................................................................ 10

1、在Job下定义工作流 ...................................................................................................... 10 2、定义Script控件 .............................................................................................................. 10 3、定义处理新增数据的数据流和处理更新数据的数据流 .............................................. 11 八、DS中常用控件介绍 .............................................................................................................. 13

1、Key_Generation ............................................................................................................... 13 2、Case ................................................................................................................................. 13 3、Merge ............................................................................................................................... 14 4、Validation ........................................................................................................................ 15 5、设置过滤器和断点 ......................................................................................................... 15 九、定义Job定期执行 ................................................................................................................ 16

1、登录Data Services Management Console ....................................................................... 16 2、定义Batch Job Schedules ............................................................................................... 17 十、其他注意事项 ........................................................................................................................ 18

一、DS简介

SAP BusinessObjects Data Services是通过SAP HANA认证的ETL工具。 采用数据批量处理的方式，定期执行后台作业，将数据从多个业务系统中抽取出来，并进行必要的处理（转换，合并，过滤，清洗），然后再加载到HANA数据库中 。 DS的组件之间的关系：

? Management Consol：

管理控制台是网页版DS管理工具，可以进行一些系统配置和定义Job执行 ? Designer：

Designer是一个具有易于使用的图形用户界面的开发工具。它允许开发人员定

义包括

数据映射，转换和控制逻辑的数据管理应用程序，创建包含工作流（作业执行定义）和数据流 （数据转换定义）的应用程序 ? Repository：

应用程序设计器使用的本地资源库用来存储Data Services对象（如项目，作业，工作流，和数据流）的定义和源和目标的元数据 ? Job server：

作业服务器启动数据移动的从多个不同种类的源集成数据的引擎，执行复杂的数据转换，并管理从ERP系统和其他源的抽取和事务

二、DS数据加载方式

? 全量加载 ? 增量上载

a) 基于表比较 异

作业在执行时读取数据源和目标中的全部数据，在服务器的内存中进行比较，计算数据差

b) 时间戳增量 新

c) 利用数据库CDC（changed data capture）

首先需要开启数据库的CDC服务，为数据库实例启用CDC功能，为源表启用CDC功能。在这种模式下，DS的增量更新不再直接访问源表，而是在与源表相关的变更记录表中读取增量

需要在数据源中添加时间戳字段，一般为创建时间和最后修改时间，在抽取作业中定义对两个时间戳字段进行对比，符合条件的创建时间条目进行插入，符合条件的修改时间条目进行更

三、DS进行数据抽取模型开发的基本过程

? 为数据源创建数据存储 ? 导入源表的元数据到资源库

? 为SAP HANA目标系统创建数据存储 ? 新建DS项目和批量作业

? 新建DS数据流：定义源表和目标表，定义变量、编辑Query和Map_CDC_Operation ? 执行批量作业

四、DS创建数据源系统和目标系统的数据存储 1、Oracle数据库作为数据源系统

登录Data Services Designer，在本地对象库的数据存储页签中单击鼠标右键，选择新建菜单

创建数据存储“EAM_TEST”，在弹出的对话框中输入EAM数据库的连接信息

2、ECC作为数据源系统

同样在创建DataStore时，输入ECC的连接信息

3、HANA数据库作为目标系统

在创建DataStore时，输入HANA数据库的连接信息

五、全量加载过程 1、创建Project和Job

在本地对象库的project页签中单击鼠标右键，选择新建菜单，创建项目“ERP_DS”。双击该项目，在“Project Area”，可以在该项目下创建Job