大数据分析与挖掘综合能力提升实战
【课程目标】
本课程为高级课程,培训的内容是继中级课程之后学习的,同时提供了更复杂的数据模型来解决实际工作中的商业决策问题。
本课程面向高级数据分析人员,以及系统开发人员。
本课程核心内容为数据挖掘,分类预测模型,以及专题模型分析,帮助学员构建系统全面的业务分析思维,提升学员的数据分析综合能力。
本课程覆盖了如下内容:
1、 数据建模过程
2、 分类预测模型
3、 分类模型优化思路
4、 市场专题分析模型
本系列课程从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,对数据分析及数据挖掘技术进行了全面的介绍(从数据收集与处理,到数据分析与挖掘,再到数据可视化和报告撰写),通过大量的操作演练,帮助学员掌握数据分析和数据挖掘的思路、方法、表达、工具,从大量的企业经营数据中进行分析,挖掘客户行为特点,帮助运营团队深入理解业务运作,以达到提升学员的数据综合分析能力,支撑运营决策的目的。
通过本课程的学习,达到如下目的:
1、 熟悉建模的一般过程,能够独立完成整个预测建模项目的实现。
2、 熟练使用各种分类预测模型,以及其应用场景。
3、 熟悉模型质量评估的关键指标,掌握模型优化的整体思路。
4、 熟练掌握常用市场专题分析模型:
a) 学会做市场客户细分,划分客户群
b) 学会实现客户价值评估
c) 学会产品功能设计与优化
d) 掌握产品精准推荐模型,学会推荐产品
e) 熟悉产品定价策略,寻找产品最优定价
【授课时间】
2-4天时间(每天6个小时)
【授课对象】
业务支撑部、运营分析部、数据分析部、大数据系统开发部等对业务数据分析有较高要求的相关人员。
【学员要求】
1、 每个学员自备一台便携机(必须)。
2、 便携机中事先安装好Microsoft Office Excel 2013版本及以上。
3、 便携机中事先安装好IBM SPSS Statistics v24版本及以上。
注:讲师可以提供试用版本软件及分析数据源。
【授课方式】
数据分析基础 + 方法讲解 + 实际业务问题分析 + 工具实践操作
采用互动式教学,围绕业务问题,展开数据分析过程,全过程演练操作,让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。
【课程大纲】
第一部分: 数据建模过程
1、 预测建模六步法
? 选择模型:基于业务选择恰当的数据模型
? 属性筛选:选择对目标变量有显著影响的属性来建模
? 训练模型:采用合适的算法对模型进行训练,寻找到最合适的模型参数
? 评估模型:进行评估模型的质量,判断模型是否可用
? 优化模型:如果评估结果不理想,则需要对模型进行优化
? 应用模型:如果评估结果满足要求,则可应用模型于业务场景
2、 数据挖掘常用的模型
? 数值预测模型:回归预测、时序预测等
? 分类预测模型:逻辑回归、决策树、神经网络、支持向量机等
? 市场细分:聚类、RFM、PCA等
? 产品推荐:关联分析、协同过滤等
? 产品优化:回归、随机效用等
? 产品定价:定价策略/最优定价等
3、 属性筛选/特征选择/变量降维
? 基于变量本身特征
? 基于相关性判断
? 因子合并(PCA等)
? IV值筛选(评分卡使用)
? 基于信息增益判断(决策树使用)
4、 模型评估
? 模型质量评估指标:R^2、正确率/查全率/查准率/特异性等
? 预测值评估指标:MAD、MSE/RMSE、MAPE、概率等
? 模型评估方法:留出法、K拆交叉验证、自助法等
? 其它评估:过拟合评估
5、 模型优化