基于spark构建企业级流式处理系统

免费

主讲人:董西成

 

《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》和《Hadoop技术内幕:深入解析YARN架构设计与实现原理》作者;

资深Hadoop技术实践者和研究者,曾参与商用Hadoop原型研发,以及分布式日志系统、全网图片搜索引擎、Hadoop调度器等项目的设计。

 

▣ 主题: 基于spark构建企业级流式处理系统

▣ 时间:4月5日 20:00-22:00

 

▣ 形式:视频直播

▣ 课程大纲:

 

1. 流式处理典型应用场景

网站指标实时统计系统

用户行为实时分析系统

实时推荐系统

风控系统

 

2. 流式计算引擎分类

涉及storm,spark streaming,flink及apache beam等系统分类

流式计算框架的现状与未来

 

3. 流式处理管道构建

经典的kafka+spark streaming +mysql/hbase架构剖析

 

4. 流式处理系统关键技术点探讨

吞吐量与延迟

数据延迟到达与乱序

数据一致性语义(事务,幂等操作等)

 

5. 流式计算应用

基于spark构建用户行为实时分析系统,包括背景,架构,可视化等

授课教师

资深Hadoop技术实践者和研究者,对Hadoop技术有非常深刻的认识和理解,有着丰富的实践经验。 曾经参与了商用Hadoop原型的研发,以...