针对运营商的大数据建设方案研究
赵晶
【摘 要】随着大数据应用在互联网行业的蓬勃发展，大数据逐步成为国内外运营商的关注焦点。首先基于电信运营商面临的挑战和建设难题，分析建设大数据平台的重要性和必要性；然后，结合运营商实际需求，提供了大数据平台建设的关键技术分析、系统架构、设备配置方法和组网方案等，对运营商进行大数据平台的规划、设计以及建设具有很好的借鉴意义。 【期刊名称】电信工程技术与标准化 【年(卷),期】2015(000)003 【总页数】5
【关键词】大数据；运营商；Hadoop；MPP
1 概述
大数据(Big Data)指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理，并整理成为帮助企业经营决策更积极目的的资讯。大数据具备4“V”（Volume，Variety，Value，Velocity）特点。
第一，数据体量巨大。从TB级别，跃升到PB级别，甚至EB和ZB级别。 第二，数据类型繁多。包括结构化、半结构化、非结构化数据。例如网络日志、视频、图片、地理位置信息等。
第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有1～2 s。
第四，处理速度快，实时获取需要的信息。这一点也是和传统的数据挖掘技术
有着本质的不同。
大数据已经席卷了每个行业和业务功能，如今已成为重要的生产要素，大数据正在通过多种方式创造价值。
2 运营商建设大数据平台的必要性
2.1 降本需求驱动架构调整
中国移动目前的分析系统使用的都是传统的“小型机＋关系型数据库＋高端磁盘阵列”的模式，这种传统模式建设成本高昂。为了支撑流量经营、智能管道的运营，运营商需要理解移动互联网的业务特征、需要了解网络的状态，因此需要分析和存储大量业务内容数据和信令数据。随着数据量从TB级上升至PB级甚至ZB级，如果仍采用传统架构，其成本将是运营商难以承受的。 以某运营商近几年的系统建设数据统计，成本对比情况如表1所示。
可以看出，采用基于x86架构的新型数据存储和处理技术可以大大降低系统建设成本。
2.2 数据类型的多样化对存储和分析技术提出新的需求
随着移动互联网的高速发展，用户上网行为数据中潜藏巨大的价值，但是这类互联网数据中包含大量非结构化数据，例如网站日志数据、呼叫中心通话记录、社交媒体中的文本数据、智能手机中内置的GPS所产生的位置信息、时刻生成的物联网传感器数据，还有互联网上的图片和视频等，数据的种类有了大幅度的增加。
单靠传统关系型数据库技术只能处理结构化数据，无法挖掘非结构化数据的价值。因此，需要采用可以分析处理非结构化数据的新技术来适应新的需求。 2.3 数据成为资产
随着大数据时代的到来，各式各样的大数据应用在为我们提供了生活便捷的同时，也使我们的观念进行了变化。运营商应该意识到“数据是企业的核心资产”。要将这个思路运用到企业的商业过程中，竭尽可能收集数据、保存数据，这是大数据给我们带来的一个改变。因为数据的应用很多是设想不到的，是外部性的，传统BI采用的需求驱动的数据采集和获取方法就不合适了。
我们需要的是全量的采集和存储，尽可能多的将数据保存下来，然后再去对其进行挖掘，获取其中的价值。这就需要系统能够支持海量的数据存储和分析。 综合以上分析，需要建设新的基于x86架构的，能够分析和存储结构化、非结构化数据，能够满足海量数据分析和存储需求的大数据分析系统。
3 大数据平台建设方案
3.1 关键技术
为了应对数据处理的压力，过去10年间在数据处理技术领域有了很多的创新和发展，其中主流的大数据处理技术具有一些共性的特点：硬件基于x86 PC服务器；存储基于服务器自带的本地硬盘；操作系统主要是Linux；拥有极高的横向扩展能力和内在的故障容错能力和数据高可用保障机制；能大大降低每TB数据的处理成本，为“大数据”处理提供技术和性价比支撑。 大数据存储和管理的技术路线最常用的有两种。
第一种是采用MPP架构的新型数据库集群，采用Shared Nothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无
针对运营商的大数据建设方案研究
