谷歌BERT解析----2小时上手最强NLP训练模型

免费

前不久 Google AI 的一篇 NLP 论文引起了社区极大的关注与讨论,被认为是NLP 领域的极大突破。

其中所提出的模型 BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型,其性能超越许多使用任务特定架构的系统,刷新了 11 项 NLP 任务当前最优性能记录。这使 BETR 得到了自然语言处理学界和工业界的关注,目前 Google 开放了多国语言版本的模型和源码。

这个开源项目有如下几个特点:

  • 独立的 TensorFlow 代码,有简单的 API 且无依赖关系;

  • 链接到论文中的 BERT-Base 和 BERT-Large 预训练版本;

  • 一键复制论文中的 MultiNLI 和 SQuAD v1.1 结果;

  • 包含预训练数据生成和训练的代码;

  • 可以链接到 Colab,从而使用免费的云端 TPU 运行 BERT;

为了更迅速的上手 BETR,我们邀请到追一科技的潘晟锋进行分享。

本次分享将为大家讲解该模型的原理,深入剖析原论文中未提及的源码中的细节。同时也将分享追一科技在预训练语言模型方面的经验,以及对 BERT 进行的实验尝试。

分享提纲

  1. 深度学习中的语言模型初探;

  2. BERT 原理及其源码细节剖析;

  3. 预训练语言模型探索及 BERT 的实验尝试;

分享人

潘晟锋

追一科技语义算法研究员

负责Yibot、YiPal等产品线中深度学习模型的设计和优化。在机器学习、深度学习、自然语言处理等方面有丰富的研究和实践经验,专注于语义意图判断、文本相似度计算等前沿领域的探索。

直播时间

11月22日

授课教师

追一科技语义算法研究员,负责Yibot、YiPal等产品线中深度学习模型的设计和优化。在机器学习、深度学习、自然语言处理等方面有丰富的研究和...