大数据处理平台构架设计说明书

大数据处理平台及可视化架构设计说明书

版本：1.0

变更记录

序号 1 版本 1.0 变更说明 创建 修改人/日期 审批人/日期

1 / 14

目录

1

1. 文档介绍 ...................................................................................................................................... 3

1.1 1.2 1.3 1.4 1.5

2 3 4 5

文档目的 ...................................................................................................... 3 文档范围 ...................................................................................................... 3 读者对象 ...................................................................................................... 3 参考文献 ...................................................................................................... 3 术语与缩写解释 ........................................................................................... 3

系统概述 ........................................................................................................................................... 4 设计约束 ........................................................................................................................................... 5 设计策略 ........................................................................................................................................... 6 系统总体结构.................................................................................................................................... 7

5.1 5.2

6

大数据集成分析平台系统架构设计 .............................................................. 7 可视化平台系统架构设计 ........................................................................... 11 数据库设计 ................................................................................................ 14 系统管理 .................................................................................................... 14 日志管理 .................................................................................................... 14

其它 ................................................................................................................................................. 14

6.1 6.2 6.3

2 / 14

1 1. 文档介绍

1.1 文档目的

设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。

设计数据可视化平台 ，应用于大数据的可视化和互动操作。

为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。

1.2 文档范围

大数据的处理，包括ETL、分析、可视化、使用。

1.3 读者对象

管理人员、开发人员 1.4 参考文献

1.5 术语与缩写解释

缩写、术语 解 释 BD SD … Big data 系统设计，System Design

3 / 14

2 系统概述

大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。

设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。

4 / 14

3 设计约束

1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。

3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。 5 / 14