浅论Hadoop平台在大数据中的应用

浅论Hadoop平台在大数据中的应用

陈 琳

【摘 要】 随着互联网信息技术的突飞猛进发展，加上移动智能手机、PC电脑、传感器的广泛使用，全球数据信息总量正呈现几何倍的增长态势，并且数据结构向着半结构化、非结构化方向发展，传统数据处理技术已经远不能满足现有需要。在此背景下，Hadoop作为应用最广泛的一种开源计算平台应运而生。文章通过介绍Hadoop平台的构架与原理，对Hadoop平台的大数据处理能力进行分析，通过与传统数据处理方式的比较，对大数据下Hadoop平台的未来进行了展望。

【期刊名称】太原学院学报：自然科学版 【年(卷),期】2017(035)003 【总页数】4

【关键词】 Hadoop平台；大数据；数据处理；HDFS；MapReduce

引言

随着互联网信息技术的不断发展，数据规模呈现爆炸式的增长。国内外的互联网公司和中小企业都已经认识到大数据背后所隐藏的巨大价值，纷纷进入这一领域淘金，掀起了新一轮数据分析热潮。图片、音频、视频等半结构化和非结构化数据的大量出现，使大规模数据处理技术变得难上加难，如何高效便捷的存储和处理PB乃至EB量级的数据，如何解决大数据时代带来的数据处理难题，成为各大机构争先研究的重点。在此背景下，Hadoop平台以其广泛应用分布式文本处理的方式，逐渐被互联网信息行业所接受，并得以广泛应用。Hadoop设计之初只与网页索引功能相关，但由于其自身强大的存储和处理能