甘肃省高速公路大数据平台
摘要：甘肃省高速公路大数据平台以开源的CDH为基础平台，通过相关软硬件系统建设，实现自动部署、可靠性高、信息安全措施完善的大数据分析管理平台。目前，该平台已为甘肃省联网收费系统、电子缴费系统、电子发票系统、运行与监测系统、决策支持系统等多个业务系统提供了数据分析与决策支持、PB级大数据查询支撑等服务。为合理、有效运用高速公路数据资源，甘肃省建设了高速公路大数据平台，利用各类高速公路数据，结合交通运输行业背景，获得各种指标数据。通过对这些指标数据的分析，为高速公路的规划、建设、管理等各方面提供决策依据，为高速公路管理工作提供便利。
一、平台简介
甘肃省高速公路大数据平台始建于2017年，经过近3年的完善和升级，现已具备支撑甘肃省联网收费系统、电子缴费系统、电子发票系统、运行与监测系统、决策支持系统等多个业务系统正常高效运行的能力。平台架构如图1所示。
1
甘肃
省高速公路大数据平台通过Web图形界面实现Hadoop节点批量自动集群部署、集群性能监控、资源管理以及常规数据接入等功能。采用移动互联网、大数据等技术，由面向交通管理领域应用的、可复用的通用服务能力组件构成，支持高可用及横向扩展的分布式架构，支持分布式大数据存储，支持全面高效的大数据高维检索，支持可视化服务，并依据不同业务分析需求，建立业务规则库及交通模型数据库，实现业务数据的统计分析、关联分析、影响及预测分析。
（一）数据采集接入结合甘肃高速数据逐级上传、业务系统自顶向下的业务管理模式，采用大数据flume数据采集
2
组件和省中心数据传输程序进行对接，完成数据的接入和落地。
针对目前交通行业数据种类多、数据量大的特
点，对每种类型的数据，搭建相对独立的flume agent采集程序，完成对车辆流水数据、图片、系统日志、车道日志等来源于各个业务系统结构化或非结构化数据的采集，形成统一、完整的数据存储及共享平台，为上层应用系统的决策分析、数据图片视频多维度场景还原打下基础。 甘肃省高速公路大数据平台最大可用容量近200T，现已采集并存储数据15T。已采集车辆流水数据近30亿条，车道交易等日志数据70亿条。每天实时接入并分析数据近2000万条。（二）数据存储甘肃省高速公路大数据平台已具备横行可伸缩扩容的能力，可根据业务需要进行存储及相关资源的扩展。Hdfs是Hadoop中自带的分布式文件系统，是Hadoop工具的核心基础组件之一，是数据存储的主要载体，是离线数据分析的基础。Hbase居于Hdfs之上，适合于非结构化数据存储。与MapReduce、Hive、Spark集成方便。基于Rowkey进行明细数据查询，效率高。Solr采用以Lucene搜索库为核心，提供全文索引和搜索功能的开源企业平台。能快速进行海量历史数据的查询。为解决海量日志数据的查询及分析问题，采用Hbase，Solr混合预分区的数据存储方式。该存储方式方便了数据存储，提高了查询效率，解决了HBASE二级索引查询效率不高的
3
甘肃省高速公路大数据平台
