大数据职业进展方向

大数据职业进展方向

一、大数据的概念及特点：

大数据本身确实是一个很抽象的概念，提及大数据很多人也只能从数据量上去感知大数据的规模，大数据被概念为“代表着人类认知进程的进步，数据集的规模是无法在可容忍的时刻内用目前的技术、方式和理论去获取、治理、处置的数据。

大数据不是一种新技术，也不是一种新产品，而是一种新现象，是近来研究的一个技术热点。大数据具有以下4个特点，即4个“V”：

(1) 数据体量(Volumes) 庞大。大型数据集，从TB级别，跃升到PB级别。

(2) 数据类别(Variety) 繁多。数据来自多种数据源，数据种类和格式冲破了以前所限定的结构化数据范围，囊括了半结构化和非结构化数据。

(3) 价值(Value) 密度低。以视频为例，持续不中断监控进程中，可能有效的数据仅仅一两秒钟。 (4) 处置速度(Velocity) 快。包括大量在线或实时数据分析处置的需求，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、电话、平板电脑、PC和遍及地球各个角落的各类各样的传感器，无一不是数据来源或承载的方式。 二、大数据处置流程：

从大数据的特点和产生领域来看，大数据的来源相当普遍，由此产生的数据类型和应用途理方式千差万别。可是总的来讲，大数据的大体处置流程多数是一致的。整个处置流程能够归纳为四步，别离是搜集、导入和预处置、统计和分析，最后是数据挖掘。 三、大数据分解结构：

第一层面是理论，理论是认知的必经途径，也是被普遍认同和传播的基线。我会从大数据的特点概念明白得行业对大数据的整体刻画和定性；从对大数据价值的探讨来深切解析大数据的宝贵所在；从对大数据的此刻和以后去洞悉大数据的进展趋势；从大数据隐私那个专门而重要的视角凝视人和数据之间的长久博弈。

第二层面是技术，技术是大数据价值表现的手腕和前进的基石。我将别离从云计算、散布式处置技术、存储技术和感知技术的进展来讲明大数据从搜集、处置、存储到形成结果的整个进程。

第三层面是实践，实践是大数据的最终价值表现。 。

四、大数据相关的技术：

一、云技术——大数据常和云计算联系到一路，因为实时的大型数据集分析需要散布式处置框架来向数十、数百或乃至数万的电脑分派工作。能够说，云计算充当了工业革命时期的发动机的角色，而大数据那么是电。

二、散布式处置技术：——散布式处置系统能够将不同地址的或具有不同功能的或拥有不同数据的多台运算机用通信网络连接起来，在操纵系统的统一治理操纵下，和谐地完成信息处置任务-这确实是散布式处置系统的概念。

目前最经常使用的是Hadoop技术，Hadoop是一个实现了MapReduce模式的能够对大量数据进行散布式处置的软件框架，是以一种靠得住、高效、可伸缩的方式进行处置的。

Hadoop用到的一些技术有：

HDFS: Hadoop散布式文件系统（Distributed File System） - HDFS （HadoopDistributed File System） MapReduce:并行计算框架

HBase: 类似Google BigTable的散布式NoSQL列数据库。 Hive:数据仓库工具。

Zookeeper:散布式锁设施，提供类似Google Chubby的功能。

Avro:新的数据序列化格式与传输工具，将慢慢取代Hadoop原有的IPC机制。 Pig:大数据分析平台，为用户提供多种接口。

Ambari:Hadoop治理工具，能够快捷的监控、部署、治理集群。 Sqoop:用于在Hadoop与传统的数据库间进行数据的传递。

3、存储技术——大数据能够抽象的分为大数据存储和大数据分析，这二者的关系是：大数据存储的目的是支撑大数据分析。

4、感知技术——大数据的搜集和感知技术的进展是紧密联系的。以传感器技术，指纹识别技术，RFID技术，坐标定位技术等为基础的感知能力提升一样是物联网进展的基石。

五、大数据人材方向：

目前，大数据方面要紧有五大人材方向： ※ 大数据核心研发方向（系统研发）； ※ 大数据性能调优方向； ※ 大数据挖掘、分析方向； ※ 大数据运维、云计算方向 ※ 数据分析师方向（CDA、CPDA）

大数据是一项基于Java的散布式架构技术，用来治理及分析海量数据。

大数据核心研发（系统研发）方向： 基础课程篇：

1、 Java——基础课程（大数据任何方向必学内容） 2、 Linux基础——基础课程（大数据任何方向必学内容）

3、 Shell编程——从程序员的角度来看， Shell本身是一种用C语言编写的程序，从用户的角度来看，Shell

是用户与Linux操作系统沟通的桥梁。用户既能够输入命令执行，又能够利用