Spark on Mesos—李雪岩

9.90

▣ 讲座概要:

 

Mesos作为Resource Manager具有资源利用率高,轻量级等特点。在过去的一年,去哪儿网在生产实践中已经实现了ELK,Essas,Spark,Storm,Flink on Mesos,而Mesos设计的初衷就是为Spark做集群管理。本次讲座主要是讲去哪儿网在Spark On Mesos平台建设的经验和在实际生产中遇到的问题与解决方案。

 

▣ 讲座提纲

 

第一部分主要讲Spark On Mesos的集群环境搭建遇到的坑总结,架构,与实现原理。

第二部分主要讲Spark Streaming程序的代码编写示例

主要有读Kafka数据,Kafka多开receiver,使用Kafka低阶API,使用checkpint等。

第三部分主要讲Spark Streaming的性能优化,主要是Kafka参数调优,Spark参数调优,使用Alluxio加速Spark程序等。

授课教师