好文档 - 专业文书写作范文服务资料分享网站

XXX企业大数据测试用例及报告

天下 分享 时间: 加入收藏 我要投稿 点赞

1.3.5 并行执行情况

并行执行总耗时如下:

表9-7 耗时

日期 20160305 20160305 20160305 20160305 20160305 201603报表名称 FWDJZETL.SQL SRKBETL.SQL YYKHSJJZETL.SQL DWJCX.SQL LSRTJBCX.SQL ORACLE_STOREPROCED开始时间 2016/3/516:51:25 2016/3/516:51:26 2016/3/516:51:25 2016/3/516:51:25 2016/3/516:51:25 2016/3/516:51:25 结束时间 2016/3/516:58:48 2016/3/516:57:56 2016/3/516:52:39 2016/3/516:51:57 2016/3/516:51:31 2016/3/516:51:28 持续时间1 443 390 74 32 6 3 持续时间2 0:07:23 0:06:30 0:01:14 0:00:32 0:00:06 0:00:03 05 URE.SQL 并行执行workload:

图9-3 性能展示图2

16

1.3.6 生产表数据规模

表9-8 生产表

表名 pims_pdata.tb_peo_postcollpric pims_pdata.tb_peo_postderatepric pims_pdata.tb_peo_postderate pims_pdata.tb_prt_custlevel pims_pdata.tb_fct_sum_det_p_m pims_pdata.tb_peo_winpostdelv pims_pdata.tb_peo_winpostdelvpric pims_pdata.tb_sum_peopostbusn pims_pdata.tb_prt_custinfo pims_pdata.tb_sum_peonmlpost pims_pdata.tb_prt_cporgmgtlev pims_pdata.tb_prt_cporg pims_pdata.tb_peo_postcoll pims_pdata.tb_peo_prtcin pims_pdata.tb_cde_cpbusntyp_union pims_pdata.tb_fct_kadd pims_pdata.tb_fct_operdaily pims_pdata.tb_fct_mdak 17

记录数 237097843 18352483 17841320 6267607 5792946 3125115 3125115 494603 183046 131378 117247 117006 100000 83046 10000 10000 10000 4552 备注

pims_pdata.tb_cde_cpbusntyp pims_pdata.tb_sum_peopostadjust pims_pdata.tb_cde_dailyreport pims_pdata.tb_cde_operdaily pims_pdata.tb_cde_country pims_pdata.tb_fct_sector pims_pdata.tb_fct_vip_s_range_m pims_pdata.tb_cde_prictyp pims_pdata.tb_cde_dim pims_pdata.tb_cde_custtyp pims_pdata.tb_cde_custpay pims_pdata.tb_cde_custsett pims_pdata.tb_cde_postattr pims_pdata.tb_prt_cporg_union pims_pdata.tb_cde_busnchnl pims_pdata.pro_cgnos_log_r pims_pdata.tb_fct_vip_range_m pims_pdata.tb_peo_postdelv pims_pdata.tb_peo_postdelvpric 1547 1173 757 682 258 152 100 43 30 11 7 6 5 4 3 0 Log 0 结果表 0 空表 0 空表 tb_prt_cporgmgtlev的视pims_pdata.tb_prt_cporgmgtlevvw 0 图 18

pims_pdata.tb_sum_dppt 0 结果表 1.3.7 测试结果

所有六个测试案例,包含存储过程案例,经过较少的脚本修改(脚本修改量小于1%),就能够直接在新的TDH环境中运行,且运行结果正确无误,验证了量收迁移到TDH的技术可行性。

1.4 某银行性能测试报告

1.4.1 测试目标

运行某银行数据分析业务,以验证星环Transwarp Data Hub平台的性能指标。

1.4.2 测试内容

选取某银行高并发的理财查询业务,以及相关业务场景进行测试,包括现有在DB2、DPF、以及Teradata上面的应用,进行性能比对。

1.4.3 测试环境

测试环境采用5台X86服务器,搭建星环Transwarp Data Hub大数据平台,进行测试。

表9-9 测试表

测试机器 197.1.25.114(BIGL1TMP) 197.1.25.115(BIGL2TMP) 197.1.25.116(BIGL3TMP) 19

197.1.25.117(BIGL4TMP) 197.1.25.118(BIGL5TMP) CPU 磁盘 内存 2C/6核,E5-2620 2TB*8块 96GB

集群部署:

表9-10 集群部署

BIGL1TMP Zookeeper,NameNode,JournalNode,Resource Manager,NodeManager,HBaseMaster,InceptorMetastore BIGL2TMP Zookeeper,NameNode,JournalNode,NodeManager,HBaseMaster BIGL3TMP JournalNode,DataNode,NodeManager,HBaseMaster, HBaseRegion Server,InceptorServer BIGL4TMP BIGL5TMP DataNode,NodeManager,HBaseRegion Server,RStudio Zookeeper,DataNode,NodeManager,HBaseRegion Server

1.4.4 测试过程和结果

数据加载与导入:

将文件较为均匀的分到集群的各个机器上,编写HDFS上传脚本,同时向HDFS上传数据,通过记录上传时间和上传文件大小来计算数据并发加载的速度。测试步骤如下:

20

XXX企业大数据测试用例及报告

1.3.5并行执行情况并行执行总耗时如下:表9-7耗时日期2016030520160305201603052016030520160305201603报表名称FWDJZETL.SQLSRKBETL.SQLYYKHSJJZETL.SQLDWJCX.SQLLSRTJBCX.SQLORACLE_STOREPROCED开始时
推荐度:
点击下载文档文档为doc格式
4mv9f16n676b8ve00zsa83uyx9681900vcm
领取福利

微信扫码领取福利

微信扫码分享