《HBase进阶》

699.00

 

课程名称

HBase进阶

时间

共8周

培训方式

视频学习 + 在线答疑 + 每周作业 + 结业考试

 

授课对象:

 

1、Hadoop高级、具有一定Hadoop系统使用经验

2、系统架构师、系统分析师、高级程序员、资深开发人员。

3、牵涉到大数据处理的数据中心运行、规划、设计负责人。

4、政府机关,金融保险、移动和互联网等大数据来源单位的负责人。

5、高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

6、数据仓库管理人员、建模人员,分析人员和开发人员、系统管理人员、数据库管理人员以及对数据仓库感兴趣的其他人员。

 

适用版本:

兼顾所有HBase版本,包括Apache、Hortonworks和CDH发行版,源码分析部分使用0.89-fb或0.94.6。

 

课程大纲:

本课程面向有一定HBase使用经验的学员,深入了解HBase架构原理和日常使用与开发的经验,如:配置管理,复杂API调用和Thrift Server的使用,运维及数据迁移备份,性能调优,复杂故障处理,源码分析与学习。


当前HBase已经成为相对成熟的分布式开源数据库,网络中的资料不可谓不丰富。本课程会在全面介绍HBase的基础上尽可能加入HBase日常使用与开发的经验,此外对于网上已有详尽资料的部分会避免过多的介绍并给出参考链接。

第一周 浅尝辄止
什么是HBase——HBase的起源与基本架构
HBase在哪——HBase的获取
那些莫名的文件——HBase的安装、目录结构以及启动
操作数据之前——基于HBase shell的DDL操作
练手——基于Java API的DDL与DML操作

第二周 渐入佳境
莫名的配置文件——了解原理前HBase常用配置整理
更加高大上——复杂API介绍与举例
不会Java也要用——Thrift Server及使用
瞎子摸象——深入理解前的简单运维:HBase Web UI介绍、log的查看、hbck的使用
乾坤大挪移——数据迁移和备份工具:bulkload、distcp+addTable.rb、Exporter+Importer、replication

学过以上两周的课程后,同学们应该可以将hbase用起来,希望通过先用起来再了解原理,能将反馈提前,提高学习动力。

 

第三周 知其所以然

身在庐山——HBase架构具体分析

换个视角——通过客户端请求处理过程再次了解HBase原理
数据怎么存——官方文档之外的HBase表结构设计建议

 

第四周 运用自如

很快再相见——根据原理深入理解配置

奥林匹克精神——性能调优举例

披荆斩棘方法论——复杂故障处理经验

披荆斩棘实例——复杂故障处理举例

学过以上两周的课程后,同学们应当对原理有所了解,第三周对原理从两方面进行讲解,第四周通过调优和排错再次重复描述相关原理,希望同学们可以彻底理解。

 

第五周 源码初探

众里寻他——源码的获取、编译与导入

以管窥豹——源码目录结构

第一眼——常用工具类源码分析举例

 

第六周 自己动手

META没了——meta表误删

混乱之治——split导致的region重叠

不动如山——多用户快照扫库

学过以上两周的课程后,同学们应当已经对HBase源码走有了初步的了解,掌握了从meta表与hdfs中提取和处理重要信息。出现严重故障时往往只有持久化数据出错无法通过重启恢复,这对复杂故障恢复,防止数据丢失有重要作用。

 

第七周 源码分析经验举例
就是举例——region server源码分析举例

 

第八周 可借鉴代码分析

桶——Bucket cache

高效沟通——RPC框架

学过以上两周的课程后,同学们应当已经掌握大规模代码阅读的基本方法。此外Bucket cache可以进一步应用到ssd缓存或其他项目的缓存设计中。rpc框架可以普遍应用于java的分布式通信中,其中的多路复用的java nio使用方式更是值得大家借鉴。

 

主讲人:

刘俊宏

 

搜狗搜索开发部工程师

 

从事HBase与自有分布式key-value存储相关的开发及管理工作。

 

工作中分析HBase源码、参与各业务的HBase维护并根据搜索具体业务的特殊需求,对HBase的compact、SSD二级缓存、多用户并发快照扫库等方面进行了深度修改。

 

常见问题:

请点击 http://www.chinahadoop.cn/page/questions

Hadoop官方主页:

请点击 http://hadoop.apache.org/

 

 

在线咨询:

QQ群:344476417
电话:15611440609
邮件:admin@chinahadoop.cn

 

微信公众号:ChinaHadoop

 

  • 本课程面向有一定HBase使用经验的学员,深入了解HBase架构原理和日常使用与开发的经验,如:配置管理,复杂API调用和Thrift Server的使用,运维及数据迁移备份,性能调优,复杂故障处理,源码分析与学习。

相关课程

授课教师

高级开发工程师

从事HBase与自有分布式key-value存储相关的开发及管理工作。工作中分析HBase源码;参与各业务的HBase集群维护;根据业务的特...