基于TurboDXTM Plus Service的新一代跨部门数据
共享交换平台
一、 需求和问题分析
数据共享交换平台是实现智慧城市数据中心以及跨部门异构系统的数据共享交换与整合、为智慧应用提供数据共享交换服务支撑的必要基础设施平台。平台应提供数据共享交换功能和多种应用服务模式，满足管理需求，并具有较强的可扩展性，能够支撑跨部门信息资源的共享交换。
当前各级政务共享交换平台一般采用如下陈旧过时的共享交换架构：
图1普遍采用的共享交换架构
在这种陈旧的架构中，为了避免部门之间直接的数据库访问，保障部门之间数据库访问安全，在部门接入端均部署前置库。这种架构存在许多弊端。比如，对共享交换平台的建设方来说，平台不支持数据端到端可达（半拉子工程），部门接入的数据均需落地前置库（人为引入不必要的过多环节、造成成本、数据时效、数据管理、数据安全等一系列问题），数据交换接入周期长，共享交换应用效果缓慢；前置库造成数据安全隐患、维护职责不清；跨部门共享交换模式单一，平台管理部门需介入各接入部门的数据业务规则，工作量大、责任大。对接入部门来说，平台不支持前置库与部门业务系统间最后一公里的数据桥接联通入库，需定制开发或采购第三方工具，存在周期长、成本高、难于满足部门对接入的管理、易用
性差等弊端；另外，由于需要支持不同的项目，接入部门可能部署多个前置机，带来前置机(库)运维工作量、成本和复杂度的增加；平台未考虑接入部门的管理需求，未提供面向部门使用的统一接入管理、交换任务监控和统计分析等面向部门人员使用的技术接入配置和业务管理的功能界面。在云部署的环境下，各部门前置机(库)的共享交换平台架构方案显然不能适应集约化、云服务化的趋势要求。
基于数贝公司自主研发的新一代分布式数据集成产品TurboDX Plus Service的数据共享交换平台完善了上述共享交换架构，无需前置库，便可实现任意两个部门或多个部门之间的应用数据即时联通，支持数据端到端实时可达。
二、 总体设计
1、
设计目标
基于TurboDX Plus Service的数据共享交换平台是一款基于B/S架构的、高性能的、简单易用的、支撑跨部门数据共享交换应用的多部门服务和管理平台，支持结构化数据、半结构化和非结构化数据的接入、传输交换、整合，具有较强的可扩展性和支撑各种共享交换业务模式的能力，能快速有效地满足项目的核心业务需求，并在最短时间内上线运行而产生社会和经济效益。 2、 ? 高效
底层采用最新的分布式服务容器先进技术及流处理技术，有效提高交换效率；实现任意部门节点间应用系统和数据的即时联通，支持数据端到端实时(秒级)可达和可视化监控管理。 ? 安全
支持安全的数据交换、可靠传输；实现跨网络节点之间的多层次安全数据交换机制，保障数据访问安全。 ? 简单易用
设计思想
面向参与数据交换共享业务的平台中心和各业务部门，提供直观易用、B/S图形化的用户设计、任务配置和运行监控管理界面，通过页面“点击式”的数据源连接和交换任务配置，支持部门应用系统快速地接入平台和实现接入数据的有效管理。 ? 满足多方管理需求
支持多种跨部门的共享交换应用服务模式；为交换各方提供接入、运行、运维等各个阶段的管理工作平台，满足数据交换各方的交换业务和运行监控的管理需求。
3、
实现方式
平台提供两种数据交换的实现方式，如下图所示：
图2共享交换实现方式
一是数据库配置方式，适用于对交互的源和目标数据库有访问权限的场景，通常一个部门内部的应用系统之间的交换采用这种方式。
二是通道服务方式，通过通道有效解耦交换的源和目标数据的访问权限，适用于对交互对方的数据无访问权限的场景，通常跨部门之间的数据交换采用这种方式。 4、
平台架构
基于TurboDX Plus Service的数据共享交换平台摒弃了前置机(库)架构的弊端，平台由交换中心和部门接入网关节点系统构成。交换中心一般部署在政务中心部门，部门接入网关节点系统部署在各个接入部门。如下图所示。
图3平台架构
交换中心是整个平台的管理控制中心枢纽，负责通道服务的管理、全网运行、运维管理和中心节点的任务管理。部门接入网关负责接入节点的交换数据管理、连接本地数据源的管理、交换任务管理并监控查看本地节点系统的运行状况。
平台支持省级、市级、区县级跨部门、跨层级的数据共享交换应用服务，支持与现有政务大数据资源中心对接，平台接入架构如下图所示：
图4智慧应用接入示意图
各部门智慧应用的异构业务数据库接入数据共享交换平台，实现跨部门的数据交换共享，人口、法人、地理信息、宏观经济、电子证照等基础数据通过共享交换平台共享给各个接入部门使用，部门使用节点的数据网
关系统“沙箱”（Sandbox）中提供的功能来配置数据的接入与实现监控管理。
三、 功能设计
1、 交换数据管理
平台各节点系统均提供交换数据源的元数据釆集和梳理标注等功能，形成本地数据目录。支持查询查看实例数据、进行数据分析、标注中文语义等元数据操作，为数据整合交换提供必要的样例分析服务，并实现对交换数据结构的管理和定义。 2、 通道服务管理
交换中心软件具有远程通道服务管理模块(通道服务器)，支持通道连接用户的管理、通道配置、安全管理设置、数据授权等服务内容，以及通道的运行监控。 3、 数据源连接
平台采用灵活的架构，允许用户管理数据源连接驱动包，支持动态加载不同版本的驱动及参数配置，以适应集成环境中同时具有不同版本的数据库以及云服务商提供的各类RDS、MPP型数据库和数据仓库。支持对关系型数据库、二进制文件、Excel、CSV、TXT、JSON、XML等数据文件以及Hadoop、Kafka等大数据平台多种类型数据源的连接和适配。 4、 任务管理
该功能实现复制同步任务管理、交换整合任务管理、文件传输任务管理、数据文件入库任务管理以及任务调度管理，支持实时和定时、手工触发和条件触发的数据交换。
复制同步任务包括全量和日志扫描增量CDC任务，支持按应用系统处理事务的时间次序交换数据，保证业务数据的完整性和一致性。交换整合任务，支持触发器、标识位、时间戳、全量比对等增量模式，以及对物理表和视图的交换、多表整合。文件传输任务实现指定目录下或FTP文件的
基于TurboDXTMPlusService的新一代跨部门数据共享交换平台
