智慧城市—集团大数据平台整体方案建议书

集团大数据平台 整体方案建议书

1

目 录

1 项目概述 ..................................................... 11 1.1

建设背景................................................... 11

1.1.1 集团已有基础............................................. 11 1.1.2 痛点及需提升的能力....................................... 11 1.1.3 大数据趋势............................................... 11 1.2

建设目标................................................... 12

1.2.1 总体目标................................................. 12 1.2.2 分阶段建设目标........................................... 12 1.3

与相关系统的关系........................................... 13

1.3.1 数据分析综合服务平台..................................... 13 1.3.2 量收系统................................................. 13 1.3.3 金融大数据平台........................................... 14 1.3.4 各生产系统............................................... 14 1.3.5 CRM...................................................... 14 1.4

公司介绍和优势特点......................................... 14

1.4.1 IDEADATA................................................. 14 1.4.2 TRANSWARP................................................ 15 1.4.3 我们的优势............................................... 16 2 业务需求分析 ................................................. 19 2.1 2.2

总体需求................................................... 19 数据管理................................................... 20

2.2.1 数据采集................................................. 20 2.2.2 数据交换................................................. 21 2.2.3 数据存储与管理........................................... 21 2.2.4 数据加工清洗............................................. 21 2.2.5 数据查询计算............................................. 22 2.3

数据管控................................................... 22

2

2.4 2.5 2.6

数据分析与挖掘............................................. 23 数据展现................................................... 24 量收系统功能迁移........................................... 24

3 系统架构设计 ................................................. 25 3.1 3.2 3.3

总体设计目标............................................... 25 总体设计原则............................................... 25 案例分析建议............................................... 26

3.3.1 中国联通大数据平台....................................... 26 3.3.2 恒丰银行大数据平台....................................... 31 3.3.3 华通CDN运营商海量日志采集分析系统....................... 40 3.3.4 案例总结................................................. 44 3.4

系统总体架构设计........................................... 45

3.4.1 总体技术框架............................................. 45 3.4.2 系统总体逻辑结构......................................... 49 3.4.3 平台组件关系............................................. 51 3.4.4 系统接口设计............................................. 55 3.4.5 系统网络结构............................................. 57 4 系统功能设计 ................................................. 59 4.1 4.2

概述....................................................... 59 平台管理功能............................................... 59

4.2.1 多应用管理............................................... 59 4.2.2 多租户管理............................................... 62 4.2.3 统一运维监控............................................. 62 4.2.4 作业调度管理............................................. 81 4.3

数据管理................................................... 82

4.3.1 数据管理框架............................................. 82 4.3.2 数据采集................................................. 84 4.3.3 数据交换................................................. 87

3