《自然语言处理之序列模型》第一期 已关闭

《自然语言处理之序列模型》第一期 扫二维码继续学习 二维码时效为半小时

(0评价)
价格: 899.00元

 

 

课程名称:
 

     《自然语言处理之序列模型》第一期
 

主讲老师:
 

史兴 美国南加州大学   计算机博士

毕业于清华大学,现在美国南加州大学攻读计算机博士学位,师从自然语言处理领域专家Kevin Knight教授。先后在AAAI, ACL, EMNLP 等会议发表多篇论文。主要研究方向为神经机器翻译及seq2seq模型的解析及改进。


课程简介:

自然语言处理作为人工智能的完备问题(AI-complete )之一,其目标在于帮助机器理解,处理以及生成人类的语言。互联网上的数据目前绝大多数为自然语言,具有丰富的挖掘价值。

本次课程主要覆盖自然语言处理中的三种模型:基本分类器(1课时 ),经典序列模型(3课时)和神经序列模型(5课时)。课程中,除了基本的算法推导,更加强调直觉上的理解。同时,我们会结合5个实践项目来探讨具体模型的实现细节以及参数调试经验。

 

课程特色:

     1.  既会推理数学公式,又要有直觉上的理解。

     2.  重点模型深挖: 实现细节,实现代码,实际参数调试经验,高级应用方法。

     3.  多个实践项目的探讨:

           a.  相似语句判断 (基本“套路”)

           b.  语音拟合 (自动机)

           c.  语言模型 (LSTM)

           d.  机器翻译 (Seq2Seq模型)

           e.  推荐系统 (LSTM)

 

面向人群:

     1.  自然语言从业人员,尤其是需要从“传统方法”转型到“神经网络”的从业人员。

     2.  有志于从事自然语言处理研究的在校学生。

     3.  希望能够无障碍看懂目前大多数自然语言处理相关论文的人。

     4.  对循环神经网络(Recurrent Neural Network)有浓厚兴趣的人。

     5.  已经接触过自然语言处理,但是希望增强对某些问题的直觉的人

     6.  期望在人工智能相关的工作或者实习的面试中能够做到“有话可说”的人。

     7.  希望用Tensorflow从头开始实现一个比复杂的项目的人

 

学习收益:

     1.  了解基本: 有哪些经典问题,哪些经典模型,哪些经典技巧。

     2.  增强直觉:能够做到在脑子中模拟所有模型的训练和推理过程,能够将各种模型统一在尽量少的几个框架之中。

     3.  有码可依:能够从0到1的建立起一份自己的Tensorflow的seq2seq模型。

     4.  摸到前沿:快速推进自己的自然语言知识,能够看懂现阶段大部分的论文。

     5.  转型深度:掌握seq2seq模型,深度学习在自然语言应用最广泛,最成功的模型。

 

开课时间:

 

2017年6月28日


学习方式:

 

    在线直播共10次课,每次2小时

     每周2次(周三、周五,晚上20:00 - 22:00

     直播后提供录制回放视频,可在线反复观看,有效期1年

 

课程大纲:
 

第一课:  自然语言处理概论            

 

     1.  自然语言处理的难点

     2.  经典问题以及解决问题的经典思路

     3.  本次课程覆盖的主要范围:基本分类器,经典序列模型,神经序列模型。

 

 

第二课:  经典序列模型 III:

 

     1.  语言模型

     2.  OOV及平滑方法 (Modified Kneser-Ney Smoothing)

     3.  神经语言模型简介

     4.  实践展示:KenLM 语言模型

 

第三课:  神经序列模型 I:

 

     1.  基础的神经网络回顾:

a.  Forward / backward propagation;

b.  计算能力的衡量

c.  Word2vec 以及 King:Man = Queen:Women的本质解释

     2.  RNN 基本概念以及问题:

a.  Gradients Vanishing / Explosion

     3.  RNN 变种: LSTM

a.  Gate的作用

b.  可视化: 在机器翻译以及语言模型中产生的特殊的gate

 

第四课:  神经序列模型 II:

 

     1.  LSTM语言模型的实现

a.  Tensorflow 框架理解

b.  Padding, Bucketing 以及最佳Bucket算法

c.  Dropout 作用

d.  多GPU实现

e.  多种优化方法对比:SGD, Adagrad 等

f.   超参数测试策略

    2. 实践展示:LSTM语言模型

 

第五课:  神经序列模型 III:

 

     1.  Seq2Seq模型及神经机器翻译

     2.  Decoding: Beam search

     3.  Attention 机制

     4.  实践展示:英法翻译系统

 

第六课:  神经序列模型 IV:

 

     1.  Seq2Seq 模型的提速

a. 训练提速:NCE

b. 测试提速:利用Word Alignment / LSH

c. Knowledge Distillation

d. 最近前沿架构

 

第七课:  神经序列模型 V:

 

     1.  Sequence + FSA

     2.  对话生成

     3.  情感分类 Supervised / Unsupervised

    4.  实践展示:基于LSTM的推荐系统

 

第八课:  基本分类器         

 

     1. Naive Bayes / Perceptron / SVM / Decision Tree / GBT

     2.  Quora相似问题判断:

             a.  数据清理

             b.  "人眼"智能

             c.  特征提取

             d.  各个分类器的表现:速度,内存,准确率

 

第九课:  经典序列模型 I:

 

     1.  EM 算法

     2.  HMM 隐马尔科夫模型

     3.  Conditional Random Field (CRF)

     4.  如何用Lattice来统一理解以上模型

 

第十课:  经典序列模型 II:

 

     1.  自动机(WFSA, WFST)

     2.  利用 EM 算法来实现WFST的参数的推倒

     3.  实践展示:教中国人说外语 (语音拟合)

 

 


 

常见问题:

Q: 会有实际上机演示和动手操作吗?
A: 有, 老师会做5个实际案列的上机演示,学员可以自己动手我们提供的实践案例。
Q: 参加本门课程有什么要求?
A: 需要有大学数学、统计相关知识,掌握Python语言编程和使用TensorFlow。建议你已经有了相关机器学习和深度学习的基础,衔接本课程会比较轻松。

Q: 本课程怎么答疑?
A: 推荐大家到小象问答社区提问老师会集中回答,也会有专门的班级群,同学们可以针对课上知识的问题,或者自己学习与动手实践中的问题,向老师提问,老师会进行相应解答。

Q: 课程中使用的软件工具是什么?会提供课程中使用的代码和数据集吗?
A: 学员需要自己在本地电脑配置和使用Python 2.7和TensorFlow,提供代码和数据集。

Q:在哪里上课?

A:课程直播和回放都在小象学院官网(http://www.chinahadoop.cn)上进行,不需要其他直播软件;如果希望上下班路上观看,可以下载小象学院app进行缓存。

 

联系方式:

 

参团后,请加客服微信:17746592767

手机:17746592767

邮件:admin@chinahadoop.cn

网站:http://www.chinahadoop.cn