《Storm实时流式计算》 扫二维码继续学习 二维码时效为半小时

699.00元

课程介绍


课程名称:《Storm实时流式计算》 

时间:共 12 周

课程对象:希望构建Storm实时计算平台和应用的开发人员
 

课程目标/学习预期:掌握从零开始构建Storm平台,开发流式计算应用

  1. 了解Storm是什么,有哪些特点,和同类技术/平台的区别/联系
  2. 了解Storm适合什么样的应用场景,为什么适合
  3. 掌握Storm的架构,学会规划、部署一个可用的Storm集群
  4. 了解一个最基本Storm程序的要点
  5. 深入了解Storm程序的基本要素、概念、结构、运行方式等
  6. 系统性学习Java API,开发第一个Storm程序
  7. 系统性学习多语言API,用python开发一个Storm程序
  8. 了解Kafka Spout,开发实时日志过滤程序
  9. 开发基本的实时PV统计程序
  10. 实时PV统计程序进阶 – 少统计、重复统计
  11. 了解Trident,用它重新实现可靠的实时PV统计
  12. Storm应用程序开发常见模式总结
  13. 了解Storm集群和程序的常见问题和解决方法

 

课程设计:

a) 前半部分以陈述性为主,介绍Storm的基础概念,集群、程序的基本结构和示例

b) 中间部分以简单示例为主,引入Storm API的系统性梳理和应用

c) 后半部分以实时PV统计为例一步步进阶,深入浅出探索Storm应用开发的精髓

培训方式:视频学习 + 在线答疑 + 每周作业 + 结业考试

培训价格:

¥ 699元

第一节 实时流式计算概述

什么是实时流式计算

大数据背景下的流式特点

第二节 实时流式计算的应用场景及关键技术

实时流式计算的适用业务场景

关键技术(从系统架构,数据传输,编程接口,高可用,维护成本,其他关键技术维度阐述)

常见实时流式计算系统简介(Queue+Worker,S4, Storm,Spark等)

第三节 初识Storm

Storm是什么,特点是什么

Storm与同类系统的对比

第四节 Storm架构和原理

Storm的系统架构(Zookeeper,Nimbus,Supervisor,Worker,Executor)

第五节 Storm架构和原理

      Storm的数据模型(Topology,Spout,Bolt,Stream,Tuple,Grouping)

第六节 Storm集群规划、部署

Storm集群规划

Storm集群部署要点(Java,Zookeeper,Storm,配置)

Storm集群部署实战,根据实际集群回顾系统架构的各个组件

运行Example Topology,介绍如何看webui,回顾数据模型中的关键概念

第七节 Storm Java API及DRPC应用开发示例

Java API介绍

Java DRPC例子开发、运行

Java DRPC例子的运行过程分析(Bolt如何写,webui上数据解释,Worker日志)

Storm内部数据传输过程分析

第八节Storm 多语言API及DRPC应用开发示例

多语言API Shell Bolt介绍

用python实现

多语言API的原理

第九节  Storm KafkaSpout及流式处理应用开发示例

Kafka Spout介绍

第十节Storm KafkaSpout及流式处理应用开发示例

Python日志过滤例子开发、运行

分析Python例子的运行过程

第十一节 最基本的实时PV统计示例

    http access log实时PV统计需求、设计

代码实现

运行过程分析

存在的问题分析

第十二节 实时PV统计示例进阶

    解决统计数据可能丢失的问题

    解决统计数据可能重复的问题

第十三节 Storm高级API Trident

Trident介绍

用Trident实现可靠的实时PV统计

第十四节Storm API及应用开发总结

Storm应用开发总结(API回顾,典型应用模式总结)

Storm消息可靠性保证机制介绍

第十五节 Storm常见问题与解决方法

Storm集群常见问题和解决方法

Storm应用程序常见问题和排查方法

 

主讲人: 肖康  

2009年开始从事Hadoop分布式系统研发工作,熟悉Hadoop核心代码,经历了Hadoop集群从几十台到上万台规模的扩张和其中遇到的各种问题与解决方案。2012年开始研究分布式实时计算平台Storm,推动Storm的大规模应用与改进。热衷于开源技术,积极参与Hadoop、Storm等开源社区并贡献代码,多次应邀在中国大数据大会进行技术演讲。

常见问题:

请点击 http://www.chinahadoop.cn/page/questions

手机:15611440609

邮件:Admin@chinahadoop.cn

在线咨询QQ群:344476417

在线客服QQ:2903431261 客服QQ

 

官方微博号:ChinaHadoop

微信公众号:ChinaHadoop