和大数 据安全与隐私保护等方面的共性基础技术和前沿技术进行了分析,指出了这些技术的最新研究方 向,总结了大数据技术面临的技术和政策方面的挑战,分析了其技术本质,对大数据的研究和工程应 用具有指导意义。关键词:大数据摇 人工智能摇 数据挖掘摇 机器学习摇 Hadoop摇 隐私保护中图分类号:TP311摇 摇 文献标志码:A摇 摇 文章编号:1002-0802(2014)11-1240-09Overview on Big Data TechnologyZHANG Feng-junNo.30 Institute of CETC, Chengdu Sichuan 610041, China)Abstract:Big data ,as a current popular technical field, attracts extensive attention and research.This pa鄄perdiscusses the concept, characteristics and development status quo of big data both at home and abroad, analyses the common fundamental technique and frontier technique of big data,including data collection andperception, data storage and processing, data analysis, data visualization,data security and privacy protection etc., points out the newest research directions of these techniques, summarizes the confronted technical and policy challenges, and finally analyzes the technical essence,all this could provide a signifi鄄 cantguidance for big data research and engineering
application.Keywords:big data;artificial intelligence; data mining; machine learning;Hadoop;privacy protection0摇 引摇 言 过去几年间,随着计算、存储资源的容量、速度、智能化程度的迅速提高和价格的大幅下降,以及物 联网、移动互联网、云计算等技术的迅速发展和大规 模应用,政府和企业更愿意投入预算建设自己的信 息设施和收集分析更多地数据,数据量出现了爆发 式增长。 数据量的剧增和国家、企业间竞争的加剧, 要求政府和企业能更准确、快速、个性化的为客户和 公众提供产品和公共服务,通过大规模掌握用户的 细节数据,政府和企业可以分析出通过传统数据分 析手段无法获知的价值和模式,做出更为迅速、科 学、准确的决策
大数据技术研究综述
