气象大数据技术架构思路

共享知识 分享快乐

气象大数据应用技术架构

卑微如蝼蚁、坚强似大象 设计思路

二〇一五年五月

共享知识 分享快乐

文档信息

客户单位: 项目: 文档： 版本： 发布日期:

编者: 内部技术机密心 .docx 0.9(150521) 未发布

姓名 邱承国 公司 项目职称 高级技术经理 日期 2015-05-11 批准: 姓名 公司 项目职称 日期

修订历史

主要版本号 修订记录 1. V0.9_150511 2. 3. 4. 邱承国 初稿 2015-0-1-1 修改人 修改内容 修改日期

卑微如蝼蚁、坚强似大象

共享知识 分享快乐

目录

文档信息........................................................................................................................................... ii 修订历史........................................................................................................................................... ii 1 引言........................................................................................................................................... 1 2 气象行业大数据分类 ............................................................................................................... 2

2.1 概述 ............................................................................................................................... 2 2.2 从分类大数据到选择大数据解决方案 ....................................................................... 3 2.3 依据大数据类型对业务问题进行分类 ....................................................................... 5 2.4 使用大数据类型对大数据特征进行分类 ................................................................... 6 2.5 依据大数据类型对气象信息进行处理 ..................................... 错误！未定义书签。 3 大数据平台架构 ..................................................................................... 错误！未定义书签。

3.1 大数据解决方案的逻辑构成 ....................................................................................... 9

3.1.1 大数据来源 ..................................................................... 错误！未定义书签。 3.1.2 数据改动和存储层 ......................................................................................... 10 3.1.3 大数据分析层 ................................................................................................. 10 3.1.4 大数据应用层 ................................................................................................. 10 3.2 大数据解决方案的组件构成 ..................................................................................... 11

3.2.1 横向层 ............................................................................................................. 11 3.2.2 垂直层 ............................................................................................................. 16

4 大数据平台组成 ..................................................................................... 错误！未定义书签。

4.1 概述 ............................................................................................................................. 19 4.2 原子模式 ..................................................................................................................... 19

4.2.1 数据使用组件 ................................................................................................. 20 4.2.2 数据处理组件 ................................................................................................. 22 4.2.3 数据访问组件 ................................................................................................. 24 4.2.4 数据存储组件 ................................................................................................. 28 4.3 复合模式 ..................................................................................................................... 29

4.3.1 存储和探索复合组件 ..................................................................................... 30 4.3.2 专业分析和预测分析组件 ............................................................................. 30 4.3.3 OLAP在线分析 ............................................................................................... 31 4.3.4 原子模式和符合模式的映射 ......................................................................... 32 4.4 解决方案模式（模拟应用场景） ............................................................................. 35 5 技术架构实现选择产品 ......................................................................................................... 35

5.1 概述 ............................................................................................................................. 35 5.2 技术架构的关键问题 ................................................................................................. 35 5.3 分布式存储与分布式应用 ......................................................................................... 35 5.4 服务平台的硬件架构与调整 ..................................................................................... 37 5.5 数据库与数据仓库 ..................................................................................................... 37 5.6 NOSQL数据库 ............................................................................................................ 37 5.7 数据集成工具 ............................................................................................................. 37 5.8 数据分析软件 ............................................................................................................. 37 5.9 Web应用以及Web开发的关键问题 ....................................................................... 37 6 我们的研发策略 ..................................................................................................................... 37 卑微如蝼蚁、坚强似大象

共享知识 分享快乐

6.1 6.2 6.3 6.4 6.5

效益 ............................................................................................................................. 37 目前的形势 ................................................................................................................. 37 针对目前直接的应用需求 ......................................................................................... 37 技术储备与项目应用 ................................................................................................. 37 如何保证将来的扩展 ................................................................................................. 37

卑微如蝼蚁、坚强似大象

共享知识 分享快乐

1 引言

在气象行业内部，气象数据的价值已经和正在被深入挖掘着。但是，不能将气象预报产品的社会化推广简单地认为就是“气象大数据的广泛应用”。

大数据实际上是一种混杂数据，气象大数据应该是指气象行业所拥有的以及锁接触到的全体数据，包括传统的气象数据和对外服务提供的影视音频资料、网页资料、预报文本以及地理位置相关数据、社会经济共享数据等等。

传统的”气象数据“，地面观测、气象卫星遥感、天气雷达和数值预报产品四类数据占数据总量的90%以上，基本的气象数据直接用途是气象业务、天气预报、气候预测以及气象服务。“大数据应用”与目前的气象服务有所不同，前者是气象数据的“深度应用”和“增值应用”，后者是既定业务数据加工产品的社会推广应用。

“大数据的核心就是预测”，这是《大数据时代》的作者舍恩伯格的名言。天气和气候系统是典型的非线性系统，无法通过运用简单的统计分析方法来对其进行准确的预报和预测。人们常说的南美丛林里一只蝴蝶扇动几下翅膀，会在几周后引发北美的一场暴风雪这一现象，形象地描绘了气象科学的复杂性。运用统计分析方法进行天气预报在数十年前便已被气象科学界否决了——也就是说，目前经典的大数据应用方法并不适用于天气预报业务。

现在，气象行业的公共服务职能越来越强，面向政府提供决策服务，面向公众提供气象预报预警服务，面向社会发展，应对气候发展节能减排。这些决策信息怎么来依赖于我们对气象数据的处理。

气象大数据应该在跨行业综合应用这一“增值应用”价值挖掘过程中焕发出的新的光芒。

卑微如蝼蚁、坚强似大象