好文档 - 专业文书写作范文服务资料分享网站

数据中台解决方案V1.2

天下 分享 时间: 加入收藏 我要投稿 点赞

应用案例:用户统一视图–传统方案VS数据中台

对比指标开发周期传统方案数据中台外包:项目运作,加实际开发>3月;自研:>1月(数据抽取,数据清洗,关联,逻辑开发,验证,监控)<1周数据抽取已经完成,确认业务需求后,重用质量验证及清洗,直接开发逻辑业务批处理:<2小时分布式环境,普通spark批处理任务,监控任务执行资源,增加计算资源可以显著提升效果流计算:<1秒(单个)基于流计算单个用户指标任务失败自动短信通知,重试方案均可配置问题解决直接指派到开发人员51计算性能(以1000万用户量算)普通oracle机器:全量任务全量更新>1周日常运营监控任务报警及补救需要专人check应用案例:用户统一视图–传统方案VS数据中台

项目数据治理传统方案数据中台集中统一管理,支持从数据规范,元数据管理分散,不同供应商实施,数据治理规范无法树管理,数据血缘,质量监控,价值评估的立数据全生命周期管理1.大量数据重复存储,数据库存储成本高,且只能处理结构化数据;2.验证逻辑重复开发,重用困难;3.弹性扩容基本无法支持,浪费资源;4.需要强大的数据规划治理资源支撑;1.所有数据集中存储,且原始数据只有一份copy,分布式存储支持线性扩容,普通pc-server,成本节约;2.数据治理、业务逻辑任务可以重用;1.算法层面:分部式处理,有大量成熟算法可以用;2.硬件层面:增加硬件资源可以显著提高处理性能;建设成本处理性能业务逻辑开发依赖特定数据库部分直接使用DB存储过程,系统瓶颈取决于数据库IO和计算性能;数据安全1.所有数据操作均在可视化IDE中进行,数据访问记录及操作无法记录日志,无法审计;日志均可保存并可审计;权限粒度粗,只能到数据库用户级别,无法到实际2.权限支持到表,字段级别,表管理人员操作用户级别;一目了然,减少沟通成本;52*数据中台需要大数据相关开发技能,和传统数据库开发技能不一样

案例场景:精准营销解决方案

应用案例:银保智能精准产品推荐

概述通过对已购买保险(高价值+保障型)用户的特征筛选和提取,运用统计分析与机器学习算法,进行大数据建模,从未购买保险的数百万用户中预测出购买保险概率最大的潜在用户名单,推送给营销部门实现精准营销。智能精准产品推荐:需求调研-数据探查

需求定位:在现有保险用户(购买高端产品的用户+购买保障产品的用户)中进行特征分析,通过模型算法在所有非保险用户中推荐最可能购买保险产品(高端产品+保障产品) 的用户名单。

已购保险用户数:X.XX万左右

购买资金管理类产品:1XXXX人

用户总数据1XXX万左右

购买高价值产品:4XX人

训练

购买保障型产品:4XX2人

未购买保险用户数1XXX万左右

去除3个月AUM为0用户数后:XXX万左右

预测

数据中台解决方案V1.2

应用案例:用户统一视图–传统方案VS数据中台对比指标开发周期传统方案数据中台外包:项目运作,加实际开发>3月;自研:>1月(数据抽取,数据清洗,关联,逻辑开发,验证,监控)<1周数据抽取已经完成,确认业务需求后,重用质量验证及清洗,直接开发逻辑业务批处理:<2小时分布式环境,普通spark批处理任务,监控任务执行资源,增加计算资源可以显著提升效果流计算:<1秒(单个)基于流计算
推荐度:
点击下载文档文档为doc格式
2syxx9mmbl8xzko02xoc4ddq3430ci00ybx
领取福利

微信扫码领取福利

微信扫码分享