返回顶部

BERT的一些改进

0

0/300

评论 1

Andre老师@小象学院

ERNIE_1.0(baidu) : 模型结构不变,预训练的时候第一阶段基于切词mask,第二阶段基于实体mask,让模型在预训练的过程中根据上下文去学到一些词级别,实体级别,短语级别的信息 ERNIE_2.0:模型结构加入task embedding(作者将预训练任务分为:Word-aware, Structure-aware,Semantic-aware),不同类型的任务选取不同的task embedding,然后加了很多预训练任务,很多数据。 ALBERT Factorized Embedding Parameterization,矩阵分解降低embedding参数量。 Cross-layer Parameter Sharing,不同层之间共享参数。 Sentence Order Prediction(SOP),next sentence任务的负样本增强。

2021-11-23 17:19:36

- 没有更多了 -