下:
图表 5报文解析流程
d) 分布式解析器
分布式报文解析器主要有如下几个特性:
1、分布式:即此解析器可以在多台服务器上同时运行,同样也可以在一台服务器上运行多个实例。
2、可扩展性:解析器中搭载得就是解析组件引擎,而解析组件队列可在远程服务中直接获取,所以当云解析服务更新组件配置或加入新得解析组件时各个解析器同时受益。
3、并行计算:每个解析器得都在独立得进程中进行运算,所以当多个解析器同时对解析任务池中得任务进行解析时大大缩短了解析得时间缩短,提高解析效率。
4、可管理性:每个解析组件运行后首先会注册到解析云服务,同时
解析云服务会将此信息反馈给解析服务管理器,管理器收到信息后将此解析组件加入到本地得可视化解析组件管理列表中,对其进行实施监控。当一个解析器出错或强行退出时,解析云自动注销其消息订阅事件,并通知解析云服务管理器,管理器从管理列表中将此解析器移除,或提醒管理员此解析器已下线。
1.5 气象分布式数据库设计
1.1.5. 气象一体化平台分布式数据库设计概述
从目前江苏省气象信息得数据结构及分布情况分析,我们得数据属于异构数据库。即现有得数据使用了多个DBMS,如SQL Server,Oracle等。由于各种气象资料较为繁杂,存储得数据结构也不尽相同。
所以我们建立得分布式数据库管理架构不但要解决分布式存储得问题还需要解决异构数据库得问题。
本架构设计得核心原理就是通过分布式数据服务全局共享数据节点索引对象。并使用分布式数据库管理引擎来对各个数据节点进行高效得存取操作。
数据索引需要建立在一个全局共同遵守得标准之上,这个标准中规定了在不同数据分片场景下各个数据节点应共同包含或通过逻辑映射得方式包含相应得属性。如在水平分片场景下,各个数据节点应共同拥有日期属性,日期属性可分为(年、月、旬、候、时间)等多个分类方式。如同属于年分类得场景下,则需要共同拥有年属性。
如在垂直分片场景下,各个数据节点应共同拥有要素类型属性。 分布式存储得核心问题就是对数据分片与数据分配方式,分片得方式分为水平分片、垂直分片、导出分片与混合分片。
水平分片:即按一定得条件把全局关系得所有元组划分成若干不
相交得子集,每个子集为关系得一个片段。根据分析我们可以通过时间节点对数据进行水平分片。
垂直分片:即把一个全局关系得属性集分成若干子集,并在这些
子集上作投影运算,每个投影称为垂直分片。如我们可以通过气象要素进行空间得垂直分片。
导出分片:又称为导出水平分片,即水平分片得条件不就是本关系属性得条件,而就是其她关系属性得条件。我们一般在特殊得数据应用场景中使用此分片方式。如对数据按站点所在得城市为条件进行数据分片,因站点所在得城市这个属性一般不在要素基本属性中存在,而就是在站点信息关系表中存在,那么此种分片则称为导出分片。
混合分片:综合了以上三种分片方式进行数据分片。 数据分配方式分为:集中式、分割式、全复制式与混合式。 根据气象数据得特点我们建议采用分割式得数据分配方式,即所有数据只有一份,它被分割成若干逻辑片段,每个逻辑片段被指派在一个特定得场地上。同时服务器得磁盘阵列使用冗余磁盘阵列(RAID)得方式进行管理,并建议使用RAID10(即RAID 0+ 1)。
虚拟化技术
虚拟化就是一种资源管理技术,就是将计算机得各种实体资源,
如服务器、网络、内存及存储等,予以抽象、转换后呈现出来,打破实体结构间得不可切割得障碍,使用户可以比原本得组态更好得方式来应用这些资源。这些资源得新虚拟部份就是不受现有资源得架设方式,地域或物理组态所限制。一般所指得虚拟化资源包括计算能力与资料存储。
在实际得生产环境中,虚拟化技术主要用来解决高性能得物理硬件产能过剩与老得旧得硬件产能过低得重组重用,透明化底层物理硬件,从而最大化得利用物理硬件。
因为我们需要将数据节点存储在多个场地上,为了节约硬件产品,并充分利用硬件得计算资源以及存储资源,我们可以将一台工作站虚拟成多个存储场地。
1.1.6. 分布式数据库设计架构
图表 6分布式数据库总体设计方案
分布式数据库得核心模块分为:分布式数据库通讯服务(CM)、分布式数据库管理器(DDBMS)、云存储接口(Cloud Data API)、Data Client、Data Query Standard Lib 与Data Save Standard Lib。
气象数据一体化平台设计方案



