某市数据共享平台升级改造建设案例
建设背景
为贯彻落实国家大数据战略，某市已经建设了数据共享交换平台、数据清洗处理和共享平台，加快推动了该市公共数据资源的共享，开创了政务数据融合共享新局面，为政府数字化转型积累了丰富的政务数据基础。
随着政府数字化转型工作的深入推进，现阶段该市各部门的应用应用系统越来越复杂，接口调用量日益增加。原有数据共享平台架构与功能以逐渐不能满足实际的使用需求，需对数据共享平台进行升级。提升平台并发量与稳定性，更好的应对日益增长的接口调用需求。
建设内容
1.数据共享平台架构升级
随着市政府数字化转型工作的深入推进，数据量还将呈延续爆发式增长的趋势，共享需求、数据质量需求、运维需求都将持续不断的增长。对系统面对高并发、快速迭代等情况时，提出了更高的要求。因此，本次架构升级将采用前后端分离技术，结合容器化微服务升级和数据架构升级三个方面着手，进一步提升系统的可用性、稳定性、应变能力，为持续深化放管服改革提供更可靠的信息化支撑。
前后端分离技术。要求必须采用Vue+Springboot前后端分离的架构模式，通过使用接口的方式进行前后端的交互，使用token代替原来的session作为用户身份校验机制，降低前后端之间的耦合性。
容器化微服务升级/要求对系统的容器化微服务进行升级，需从服务化容器升级、容器自动化部署升级两个方面进行升级。使得容器
独立于应用的其他服务组件，更好的实现共享、部署、更新和瞬间扩展，同时减少平台开发资源消耗。
线程池改造。目前所有部门调用共享平台提供的接口都必须通过网关的身份校验以及鉴权操作，故网关作为共享平台所有接口服务的出入口，承载着较大的压力。为保障网关的高可用性，要求通过线程池改造实现网关的高可用，在某一个接口无法使用时不会影响到其他接口。
缓存升级。要求在本次架构升级内容中，对系统缓存进行升级。将符合缓存要求的接口相关数据保存到缓存中，制定相应的缓存过期策略，清除过期的缓存数据。从而提高接口的响应速度，提升网关的性能。
数据架构升级。要求将共享平台的Redis数据库从单实例升级为集群模式，同时增加数据库的主备架构，使数据库的读写实现分离。通过对Redis服务的集群化和数据库的主备升级，提升共享平台的性能、可用性和扩展性，从而提供更好的接口服务。
2.数据共享平台功能升级
日志收集升级。要求使用异步的方式来保存接口访问日志，提高接口的响应速度，增加性能。同时要求日志不再保存到关系型数据库中，只保存在SLS中。日志投递和接口响应需是异步进行的，互相之间不发生影响。
后台监管升级。要求平台基于全新的springboot框架开发，实现对应用的运行状况进行监视和管理，通过http+json形式返回相关信息。通过对平台监管的升级改造，可监控网关应用的运行状况以及对发生相关异常情况时启动相应的应急机制，自动通知相关运维人
员异常情况，并且可以根据自定义的运维脚本，自定义应急机制，使运维更加的灵活。
流程改造升级。要求对共享平台的接口使用数据审批流程进行升级，实现接口使用数据审批也可在应用程序上进行。如在应用程序上已进行了审批，数据共享平台网页端的审批状态也会进行相应的改变。
日志分析功能。要求增加日志分析功能，使数据管理部门掌握各共享平台数据使用情况。支持管理人员对接口的调用情况进行分析、查询。通过日志分析模块的建设，管理人员可看到接口的异常状况以及异常日志。
平台日志与数据管控系统对接。要求监听采集数据共享平台的日志，监听采集到的日志进入分布式发布订阅消息系统，通过分布式发布订阅消息系统，最后推送到数据仓库工具中，通过这个工具进行数据共享平台的日志分析。
3.接口开发与封装
要求根据大数据中心与各部门日常使用需求，对所需的数据接口进行开发及封装，以满足大数据中心与各部门对数据接口的使用需求，确保数据共享平台稳步运行。
4.数据问题反馈系统
该系统针对性解决使用端发现的数据质量问题，重点保障“最多跑一次”改革和政府数字化转型工作中数据共享工作的流畅度，相关用户可实时跟踪共享数据质量情况，实现数据问题在各部门间实现有序的流转，力求实现跨部门的高效协同，做到及时发现问题、及时反馈问题、及时处理问题，最终督促数源部门及时完善数据质量整改，
提升数据质量。
工单列表。要求可对系统里流转的问题数据工单进行汇总，各部门数据负责人可在工单列表界面，对新出现的数据问题发起问题工单并提交，并能对权限范围内问题工单的提交、接受、待分派情况进行查看。主要包括提交的工单、接收的工单、需分派的工单、需审核的工单等功能模块。
工单总览。要求系统可根据账号权限的不同，实现各部门数据负责人可查看账号权限范围内所有被提交的问题数据工单及其详情，并支持对问题工单以EXCEL的形式进行导出，助力数据问题的整改。
工单统计。要求系统在各部门数据负责人的账号权限范围内，实现对问题数据工单、来源部门及其处理情况进行查看，并可对问题数据工单的处理过程节点进行追踪。支持对各级部门的问题数据工单综合统计与分析，总体包含数量统计、质量统计、异常统计、渠道统计四大功能模块。
工单报告。要求系统能根据账号权限的不同，实现各部门数据负责人可以对本部门或多个部门的问题数据工单报告的类型、时间范围进行选择，生成并导出问题数据年报、月报、周报，为相关部门提升数据质量提供参考，为大数据发展管理局的决策提供分析依据。
联系人管理。要求系统可展示每个部门数据负责人及分管领导的联系方式，并可在系统内对其相关信息进行增加、删除、修改、查找等操作，实现各部门数据问题联系人的统一管理。
系统管理。要求系统打造权限分级管理的体系，对平台用户及权限操作进行统一管理。权限包括应用菜单权限及数据权限两方面，菜单权限用于控制不同角色看到的系统菜单功能的不同；数据权限用于控制不同角色看到的数据范围及内容不同。有效避免越权查看、应用
层面数据泄露的问题。
对接数据治理系统。要求通过数据问题反馈系统的内部反馈和外部反馈两种方式反馈，形成的问题数据被打入数据治理系统的问题数据库。同时，系统将数据问题详情反馈给相应的数源部门，由数源部门进行数据整改。
提升客户价值
本项目是在大数据中心已建的共享平台基础上，对数据共享平台进行架构和功能的进一步升级，同时完善数据问题反馈系统，起到督促数源部门及时整改问题数据逐步提升数据质量的作用。具体价值分析如下：
与省公共数据平台的系统架构、系统功能保持一致性，为了更好的与省公共数据平台的共享系统、问题反馈系统等进行对接，系统架构上全面与省公共数据平台的现状保持一致性。
让系统底层具备更多的自动调配能力，能够具备更高并发处理能力，更高的负载均衡能力和自动部署能力，更好的为“最多跑一次”和政府数字化转型提供支持。
让系统具备更多的决策分析能力，能够为系统管理人员提供更客观、更全面、更直观的数据共享方面的结果分析支持。
让系统优化更高效，能够具备前后端分离的应用部署能力，为系统的快速迭代提供支持。
关键词：数据共享|数字化|前后端分离技术|接口服务
某市数据共享平台升级改造建设案例 - 图文
