《大数据实时计算系统实践》

899.00

 

课程名称: 

 

《大数据实时计算系统实践》第一期 

 

主讲老师:

 

余海琳 原阿里巴巴资深研发工程师

曾就职于阿里巴巴任资深研发工程师,从事分布式网络系统研发,包括内核TCP/IP网络协议、DDOS攻击防御、负载均衡、RPC网络通讯以及分布式系统开发维护,对系统开发有比较深入的理解。现任某大型互联网公司,从事大数据分布式实时流计算引擎Flink研发工作、业务支撑,负责维护公司内部Flink版本,跟进新技术点落地实战。

 

罗江宇  新浪微博资深研发工程师

研究生毕业于浙江大学,曾就职于新浪微博,目前就职于某大型互联网公司,从事Flink集群维护,业务支撑和研发工作, 有Flink 大规模生产经验。

 

文俊  资深研发工程师

毕业于南京理工大学,目前就职于某大型互联网公司,从事Flink集群维护,业务支撑和研发优化工作,有Flink大规模生产经验。

 

刘博宇  资深研发工程师

就职于某大型互联网公司,从事大数据基础平台建设相关工作,负责Druid集群维护与研发工作。

 

课程简介:


本次的课程主要包括三大部分:
1. Flink基本原理概述。指导学员了解并掌握Flink使用过程中设计到的基本概念和简要API,介绍大数据实时流计算相关生态体系,着重梳理清楚Flink上下游体系,掌握Flink的核心技术原理,建立大数据实时流计算的方法论思维。
2. Flink实战生产技术。从实战出发,围绕实时流计算业务场景分析、基本编程模型、高级特性等系统性介绍Flink实时流计算的实战技术,使得学员具备研发Flink实时流计算相关应用的基础能力。
3.  Druid是一款支持数据实时写入、低延时、高性能的OLAP引擎,具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景,是大数据基础架构建设中重要的一环。本次课程我们将介绍Druid的核心特性与原理,以及在性能调优以及最佳实践经验。

面向人群:

 

1.  希望学习大数据实时流计算和实时OLAP的学生;
2.  希望了解大数据实时流计算和OLAP实战技术的IT从业人员;
3.  未来希望成为大数据实时流计算的求职者;
4.  想在大数据实时流计算方向和OLAP方面进行深入研究者。

 

学习收益:

通过本课程的学习,学员将会收获:

1. 学员将系统性的了解并掌握大数据实时流计算的基本技术原理,结合Flink的生产技术案例,可基本实现独立开发、业务场景分析能力;
2. 了解大数据实时流计算上下游生态;
3. 理解Druid基础特性与正确使用方式,基本工作原理,并了解Druid面向的问题域以及典型的使用场景;
4. 对有志于从事大数据实时流计算以及OLAP研发的学员,提供系统实现原理的讲解与指导。

 

     

开课时间:

 

2018年2月27日

 

学习方式:
  

在线直播,共10次课,每次2小时

每周2次(周二、四,20:00 - 22:00

直播后提供录制回放视频,可在线反复观看,有效期1年

 

课程大纲:

 

第一课: Flink基本概念与部署            

1. Flink 简介
2. 编程模型
3. 运行时概念
4. 应用部署与原理

a. 部署模式

b. On-Yarn 启动设置与原理

c. Job 启动设置与原理
 
第二课: DataStream        
1. DataStreamContext环境
2. 数据源(DataSource)
  3. 转化(Transformation)
4. 数据Sink
 

第三课:Window & Time

    1. Window介绍

a. 为什么要有Window

b. Window类型

2. Window API的使用

a. Window的三大组件

b. Time&watermark

c. 时间语义

d. 乱序问题解决WaterMark

e. AllowLateness正确设置与理解

f. Sideoutput在Window中的使用

3. Window的内部实现原理

a. Window的处理流程

b. Window中的状态存储

4. 生产环境中的Window使用遇到的一些问题

 

第四课: Connector

1. 基本Connnector

2. 自定义Source 与 Sink

3. Kafka-connecotor      

a. Kafka 简介
b. Kafka Consumer 与Sink 的正确使用方式        

c. Kafka-Connector 内部机制与实现原理 
 

第五课: 状态管理与恢复机制 
1. 基本概念
    2.  KeyState 基本类型及用法
a.  ValueState

b.  ListState

c.  ReduceState

d.  FoldState

e.  AggregatingState

3.  OperatorState基本用法

4.  Checkpoint

         a.  概念

    b. 开启checkpoint

        c.  基本原理

 

第六课: Metrics 与监控 

1.  Metrics的种类

2.  Metrics的获取方式

a. Web Ui

b. Rest API

c. MetricReporter

3.  用户自定义Metric指标方式

4.  监控和诊断:Metric和Druid 实时OLAP联合使用

a. Metric上报

b. Metric指标聚合

c. Metric的分类和格式定义

5. Druid查询和指标系统

a. Flink作业反压监控

b. Flink作业的延迟监控

c. 其他

6. Metric系统的内部实现

7. 生产环境中的案例分析 -- 通过指标来排查应用问题

 
第七课: Flink应用案例介绍

1. 数据清洗:map/flatmap等

2. 监控告警系统

a. 数据拉平

b. 基础窗口计算等

3. 线上运营系统

4. 风控系统    

第八课: Druid基本概念与架构设计 
1. Druid与OLAP VS Kylin、ES等
2. Druid与指标系统 VS 各种时序数据库

3. Druid特性

4. 基本架构:角色节点与基本职责

a.  角色行为

b. 角色暴露的API

5. 基本架构:外部依赖

a. MySQL数据结构

b. ZK数据结构

c. HDFS数据结构

       
第九课: Druid数据写入与查询 
1. 数据流向与存储格式
a. 数据写入流程

b. 存储与索引格式

2. 实时数据写入

a. Firehose

b. Realtime Node

c. Index-Service原理介绍

d. Tranquility原理介绍

e. Kafka-index-service原理
3. 离线数据写入
a. Indexer

b. MR Indexer 

4. 查询模式与查询类型介绍

 

第十课: Druid实践介绍

  1. 容错设计

2. 指标监控

  a. 基于Graphite搭建指标监控系统

b. 重要的指标项

3. 运维实践

a. 数据修复

b. 集群升级实践

c. Segment元数据管理

d. JVM调优

c. 资源隔离

 

 

 

 

常见问题:
  

Q: 会有实际上机演示和动手操作吗?
A: 有,几乎每节课,老师均会准备上机演示部分,学员可以学习老师的实践经验。
Q: 参加本门课程有什么要求?
A: 有一定Java或Scala编程能力。

Q: 有课外学习资料吗?

A: 有,老师会根据情况提供讲义,并给出进阶学习资源与项目的建议。

Q: 本课程怎么答疑?
A: 推荐大家到小象问答社区(wenda.chinahadoop.cn)提问,方便知识的沉淀,老师会集中回答,不会因为QQ群信息刷屏而被老师错过。也会有专门的QQ班级群,同学们可以针对课上知识的问题,或者自己学习与动手实践中的问题,向老师提问,老师会进行相应解答。

Q:在哪里上课?

A:课程直播和回放都在小象学院官网(http://www.chinahadoop.cn)上进行,不需要其他直播软件;如果希望上下班路上观看,可以下载小象学院app进行缓存

 

联系方式:

 

参团后,请加客服微信:13126576580

手机:13126576580

邮件:admin@chinahadoop.cn

网站:http://www.chinahadoop.cn

 

授课教师

曾就职于阿里巴巴任资深研发工程师,从事分布式网络系统研发,包括内核TCP/IP网络协议、DDOS攻击防御、负载均衡、RPC网络通讯以及分布式...

研究生毕业于浙江大学,曾就职于新浪微博,目前就职于某大型互联网公司,从事Flink集群维护,业务支撑和研发工作, 有Flink 大规模生产经...

毕业于南京理工大学,目前就职于某大型互联网公司,从事Flink集群维护,业务支撑和研发优化工作,有Flink大规模生产经验。...

资深研发工程师 就职于某大型互联网公司,从事大数据基础平台建设相关工作,负责Druid集群维护与研发工作。...