旗开得胜 气象广域网实时气象数据高速传输
总体方案
1 数据高效传输
1.1 概述
数据高效传输功能模块着力于解决分布式多节点的数据高效传输问题，实现空天信息资源的提供者与用户之间的高效数据传输，为资源承载与服务系统中各类数据服务模式提供技术支撑。
针对分布式资源统一高效传输需求，在分布式资源虚拟化整合基础之上，建立符合气象系统中数据传输数据量大、传输距离远等特点的分布式传输模型，实现数据高效能传输的新协议，作为公用的底层传输服务，支撑气象数据在节点间的高效、安全流动。
通过实现一组传输接口函数，以静态库或动态库方式提供统一的分布式多节点数据高效传输协议与传输接口，集成到资源承载与服务集成验证
1
读万卷书 行万里路
旗开得胜 系统中，并分别集成、部署到专业用户的资源承载与服务系统的终端上，保证信息资源的高效、可靠传输。
在不依赖特定传输优化硬件的前提下，大幅提高传输带宽利用率和数据吞吐量，支持节点接收并存储数据。具体实现功能如下：
1）大幅提高传输带宽利用率。 2）支持高吞吐量传输海量数据。 3）实时传输支撑快反模式。
4）具有紧急、优先、实时、高等级安全等服务保障能力，可提供端到端的服务质量保证。
5）为数据下载、在线服务、在线处理、实时广播、订阅推送、应急保障等应用模式提供高效的数据传输支撑。
6）数据传输系统可对节点链路状态、传输任务、传输节点等对象进行监控。
7）支持多种通信样式、支持多种数据、文件及目录传输；支持重传、断点续传、压缩传输。
建立符合资源承载与服务系统特点的多源数据自适应传输模型，提供
2
读万卷书 行万里路
旗开得胜 符合气象典型应用的数据传输加速方法，定义多种传输策略，并对传输过程进行监控与评估，不断优化传输过程，实现多源海量空天信息高效、可靠传输。
数据高效传输模块可以支持一点对一点、多点对一点的传输模式。原始数据被传输到其它节点或其它位置后，会自动成为该数据新的数据源。后续传输过程中，下载节点会在所有数据源中自动选择一个或多个可用源，进行分布式的传输。
数据高效传输模块专门针对复杂网络环境进行了优化，完全适用于在远距离、高延时、高丢包的复杂网络条件下进行大数据的传输。并且在互联网环境下进行的多轮远程测试中，数据高效传输模块的表现良好，相比传统传输方式，传输速率提升甚至可达数十倍，极大地缩短了数据迁移所耗时间。
针对于极端网络条件，或一些不可控的网络接入条件，在链路上基于UDP协议的数据传输受阻时，数据高效传输模块可以自动切换为基于TCP协议的数据传输模式，确保传输畅通。
1.2 功能组成
数据高效传输功能模块主要包含以下组成部分：
3
读万卷书 行万里路
旗开得胜 （1） 数据高效传输引擎
数据高效传输引擎是本系统的核心组件，负责实现基于P2P技术、UDT传输协议和状态感知的高效能传输技术。数据高效传输引擎运行于各大单位的骨干传输服务节点，负责数据传输任务的具体执行，其主要包括本地资源维护、端到端高速传输、分布式任务传输、传输接口服务等组成部分。
（2） 分布式传输客户端
分布式资源客户端主要部署在各单位的用户终端上，其主要作用是面向用户提供可视化的数据传输管理功能，用户可以使用该客户端创建并管理数据传输任务。分布式资源客户端除了可以调用骨干传输节点上的传输引擎外，自身也内置了类似的传输引擎组件，可以独立进行数据传输。
（3） 全局资源索引服务
全局资源索引服务主要用于在全网络范围内记载和维护数据资源的索引情况（包括资源ID、存储节点、资源状态等信息），并面向数据传输引擎提供资源索引服务，使得传输引擎可以迅速进入数据传输环节。全局资源索引服务本身也提供面向用户的资源索引信息查询功能。
（4） 全局态势监控系统
4
读万卷书 行万里路
旗开得胜 全局态势监控系统主要用于在全网络范围内实时管控各传输节点的状态和网络负载情况，面向用户提供可视化的传输节点态势显示，并基于预定算法向传输节点提供任务传输控制参数和指令。
数据高效传输引擎分布式传输客户端全局资源索引服务全局态势监控系统本地资源维护用户身份认证资源索引维护传输节点探针端到端高速传输分布式任务传输传输接口服务传输任务管理资源索引服务传输态势显示内置高效传输引擎资源信息查询全局传输质量评估传输管理控制 功能组成结构
1.3 技术指标
（1）性能指标
1）带宽利用率。在不依赖特定传输优化硬件的条件下，将正常质量网络链路的传输效率（指不受其它流量干扰的峰值性能）提升到当前可用带宽的80%以上。
2）传输引擎支持多任务高并发的分布式传输。
3）源失效响应速率。传输时，数据源或到数据源的链路失效后，能够快速选择可用的其它数据源进行传输，切换时间不超过30秒。
5
读万卷书 行万里路
气象广域网实时气象数据高速传输方案【云创大数据】
