大数据技术与应用专业培养方案
一、
专业名称及代码
专业名称:大数据技术与应用 专业代码:610201 二、
教育类型及学历层次
教育类型:高等职业教育 学历层次:大专 三、
招生对象及学制
招生对象:普通高中毕业生或同等学历者 学制:三年 四、
就业范围及主要岗位
就业范围:
在各类企事业单位、政府机关以及IT行业从事大数据系统搭建、测试、管理、运维和大数据分析等相关工作。 主要岗位:
1、 大数据架构工程师
2、 大数据开发工程师 3、 大数据分析工程师 4、 售前工程师 5、 销售支持工程师 6、 运维工程师 7、 售后技术工程师 五、
培养目标及规格
(一) 人才培养目标
本专业以服务吕梁、山西省及周边省市经济社会发展为宗旨,面向大数据行业,培养德智体美全面发展和身心健康,践行社会主义核心价值观,具备良好职业道德和诚信品质,掌握计算机技术、Java开发、Mysql数据库、Linux操作系统、数量统计等基础知识、会部署和使用Hadoop及Spark身体系统的常用组件,会使用网络信息采集和页面数据抓取工具,会使用SPSS等数据分析软件,具备对大数据下信息采集、预处理、储存、处理、分析、可视化等技术。本专业毕业生能胜任政府、企事业单位、社会组织等部门的大数据系统测试、管理运维、大数据分析、数据可视化等技术工作。
(二人才培养规格
1、 工作岗位描述(见表1) 2、 能力结构与要求(见表2)
3、 职业能力证书(见表3)
表 1 大数据技术与应用专业面向的工作岗位
岗位类型 工作岗位 类型工作任务 1、大数据核心产品设计规划,包括系统架构、技术选型、关键技术研发; 2、精通 Linux 操作系统,至少熟练使用 2、大数据新计算框架的选型,技术难题攻关,系统重构优化,根据业务规划及技术制定设计方案 3、熟悉 Hadoop、 Hbase、 Spark 工作3、大数据监控、运维系统等的构大数据平台规则 大数据架构工程师 架设计,详细设计,核心功能代码编写,如Hadoop、Maperduce、Stirm等数据存储架构平台、计算框架、数据展示系统设计与搭建 4、精通常见的数据存储相关技术,包括 Hdfs、 HBase、 Hive、 MySQL、Redis、 Mongodb 等; 5、负责大数据平台的性能参数调整和优化; 6、根据业务需求,编制各类分析图表、撰写项目分析文档和报告。 1、基于 MySQL、 Redis、 Kafka、 1、熟悉 Linux 的 Shell 命令,灵活运Hadoop、 Hive 搭建开发 大数据分析平台的后台服务,支持数据接入、统计、分析 业务; 大数据部署 大数据平台开发工程师 有 SQL 优化的经验; 2、构建基于 Spark/Storm 的实时数据处理平台,支撑上层业务使用,如:数据监控、日报展现、统计分析、业务方调用等; 脚本语言中的一种,并具有海量数据 ETL 3、构建基于 Hive 的即席查询数据统计分析平台; 加工处理经验,从事分布式数据存储与计算平台应用开发; 4、熟练掌握 Golang、 Scala 语言,至少精通 Python、 Perl、 Bash shell 用 Shell 做文本处理和系统操作; 2、熟悉分布式计算各种范式,分布式算法实现,有较好的分布式架构设计能力; 3、能够使用 SQL 操作复杂的数据模型并原理,熟悉分布式计算实施过程中的问题; Python、 Scala、 C++等语言中的一种编程; 职业技能要求 1、具有严密的数学思维、突出的分析归纳能力和数据分析能力; 4、负责数据平台的设计、开发、维护与优化。 5、熟练搭建 Hadoop 集群环境,熟悉 Hdfs 文件系统,熟练编写MapReduce 程序; 6、熟悉 Hadoop、 Hbase、 Hive 的原理,并能够管理、配置、运维。 1、参与项目技术平台安装部署、日常运行维护与故障处理、大数据组件补丁升级管理; 1、具有较强的数据仓库模型设计和 ETL 设计能力; 2、熟悉 Hadoop 平台的运维、调优,保2、平台的自动化部署、运维、监控、告警处理,收集 Hadoop 大数据运维工程师 的各项 metrics 指标,确保集群的正常运行; 障线上集群的稳定可靠; 3、熟练编写 Linux 下的 Shell 脚本,能开发相关安全管理工具; 4、能够利用开源软件搭建云服务,并进3、针对 Hadoop 生态系统的批量部署场景进行运维调优; 4、负责任务调度平台配置及运维管理。 1、实现数据挖掘算法,并结合核心算法做程序开发; 行相关测试。 1、基于 Hadoop、 Spark 的大数据分析和处理; 2、 使用数据挖掘、统计分析工具,2、熟悉 Python、 Scala、 Java 中的一大数据分析工程师 了解; 3、熟练使用 SPSS、 SAS 或其它数据挖大数据分析处理 掘软件,具备数据建模和数据分析理论知识,熟悉常用数据结构和数据处理算法。 1、负责大数据系统设计和开发工作,如个性化推荐系统、 大数据可视化工程师 精准营销、用户画像等数据产品的设计和开发工作; 1、有较强编程能力,熟悉 C/C++和 Python,设计搭建大数据平台; 2、较强逻辑思维能力及软件、算法实现能力,进行抽取、清洗、加工等数据处理; 提供数据决策分析 门以上开发语言,熟悉 MySQL、Oralce 数据库,对主流分布式存储和运算有一定的2、配合需求人员,完成功能模块,3、能够设计基于云架构的数据仓库模型,支撑日常业务数据需求,负责系统基于大数据平台进行研发、运维、管理等; 优化、问题跟进并及时解决。 4、熟悉数据库、应用服务器和相关开发语言。良好的数据库设计能力和 SQL 编写能力。
表 2 大数据技术与应用专业人才能力结构与要求
职业能力项目 计算机基础 操作能力 职业能力要求 Windows操作系统、office办公软件应用能力 计算机基本软件应用能力。 理解网络的原理及基本组成;掌握如何构建 专业课程 《计算机应用基础》 计算机网络 组建能力 通识能力 基础程序 语言设计能力 简单的网络; 学会分析网络地址;了解现实生活中使用的 网络设备。 《计算机网络基础》 掌握 C 语言的基本语法。 《C 语言程序设计》 大数据 基础能力 新发展动态; 了解业内常用的大数据处理工具。 掌握 Java 程序设计的基本语法、 Java 面向面向对象 编程能力 序;熟悉 JSP, Servlet, JavaBean, JDBC 等 《Java web 应用开发技术。 数据库 岗位能力 管理能力 大数据平台综合部署,包括业务需求分析、 集群环境设置、框架选择、服务器环境部署 大数据系统 开发能力 等能力、性能测试、 Hadoop 与其他系统的集 成等; Spark 的部署,进行计算业务模块的开发; 大数据系统性能提升,包括数据读写优化、 使用 MySQL 创建、查询和管理数据库 应用》 实训》 《MySQL 数据库原理及对 《Java 程序设计》 《Java 程序设计实训》 《大数据基础》 了解大数据技术的理论知识、应用前景和最 象编程思想;运用 Java 平台开发 Web 应用程 《Java Web 程序设计》 《Linux 操作系统》 《云计算架构技术与实践》 《Hadoop 与大数据挖掘》 《Spark 大数据处理技