首先,可以肯定一点,大数据肯定是海量的,另外这些数据的价值需要进行处理,整理,分析,挖掘其潜在价值,如果只是一堆海量的数据在哪里放着,也将是毫无价值的,需要经过分析,整理,决策,这样才能产生巨大的价值,如果我们将海量的数据叫做资源,将分析,整理,决策叫做计算,也就是资源+计算产生了巨大的价值,如果没有资源就谈不上计算了,如果只有资源,没有计算也是毫无价值的。
在高速发展的的现代社会里,我们周围充斥着大数据,在全球范围内每秒钟都会有海量的数据产生,并且24小时不间断的持续产生着,接下来就举例说明我们平时周围所能看到的一些大数据吧!
每日的车流量
比如说在城市里,车来车往,小轿车的数量多如牛毛,电子监控设备也是不计其数,每时每刻都会产生大量的数据,这些电子监控设备都会不停的采集这些城市交通数据,每一辆车的车型,车牌号,出现的地理位置,以及路过的时间都不会逃出这些监控设备的法眼。对这些数据的分析就能得到一些有价值的事情,比如哪个地段交通事故频发,需要采取进一步的安全措施,哪个地方违章频发,需要进一步分析什么原因造成的等等。
上下班地铁站
在一些大都市,地铁对每一个上班族来说,肯定是在熟悉不过的事情,地铁的人流量大家也是深有体会的,通过一个小小的公交卡片就能非常快捷方便收集到每一个地铁站,每个时间段的客流量,根据这些客流量也能准确的计算出平时的出现高峰期,以及从而做出正确的决策,比如在哪个时间段,那个站点需要进行人流的控制来缓解交通出行的压力。
每日的阅读数据
现在基本上每个人都有一部智能手机,不论是商场,还是在家里,还是在其他任何地方,相信好多低头族都在不停的刷着手机,也在每时每刻的的产生着海量数据。
每日的购物数据
各种各样的电商网站,各种各样的物品,都在时时刻刻的产生着海量的数据,自从有了互联网,每分钟的交易数与传统的生意相比提高了成千上万倍(远远不止成千上万)。
这些种种活动背后都是有海量的数据产生,上面提到了,作为大数据核心两点就是资源和计算,只有这两点结合起来才能产生巨大的价值,那么大数据的具体处理流程应该什么样一个过程呢?为什么说一个过程中,因为大数据不再是像传统的小量数据,实时产生计算结果,他是一个流程化的过程,一般分成以下几个环节。
数据的收集/采集
这是第一个步聚,数据的产生都是由这个环节引起的,这个环节只是简单的收集数据,不考虑数据的重复性及有效性,就是简单的数据录入
数据的处理及格式转换
这部的主要工作就是将数据加工处理及对数据的有效性及重复性校验,及格式上进行转换,转换成事先设计好的格式,从而方便数据向固定的存储介质上进行存储
数据的存储
上面说的存储介质可能是数据库或文件存储系统等或者是几种存储方式的结合,将采集到的数据进行有效处理从而沉淀下来。
数据的统计分析
对存储的起来的数据进行多个维度进行分析,得出相应的结论,这些维度都是一些技术人员或者业务专家共同探讨制定出来的,按照这些维度能得出来好多有价值的结果!
数据的挖掘
通过对分析到各个维度得出的情况来挖掘他们背后的各种联系,得出相应的策略,从而并很快的实施下去。
上一篇:请款申请书(范文)