分布式流处理技术-禹晓辉

流处理技术发展 数据流管理系统 Aurora STREAM TelegraphCQ StreamBase …… 分布式化 Medusa Flux Borealis …… 实时数据库 主动数据库 信息过滤系统 20世纪末

分布式流处理系统 S4 Storm Samza …… 2010年至今

21世纪初

时间

内容 ?大数据处理模式

?流处理技术发展

?分布式流处理系统剖析

?分布式流处理应用实例

分布式流处理系统剖析 语义保障 负载控制 存储管理 系统容错 数据模型 系统架构 分布式流处理系统剖析–数据模型 处 理 单 元 连续不断的序列

分布式流处理系统剖析–数据模型 批次模型 减少传输成本 降低容错难度 增加处理延迟 批次 (batch) 对象实例 (object) 元组 (tuple) 记录 (record) 处 理 单 元 连续不断的序列