返回顶部

elmo、GPT、bert三者之间有什么区别?

4

0/300

评论 1

Andre老师@小象学院

相同点 elmo 和 BERT 都是双向的模型,但 elmo 实际上是两个单向神经网络的输出的拼接,这种融合特征的能力比 BERT 一体化融合特征的能力弱 输入的都是句子,不是单词 elmo 、GPT、BERT 都能解决一词多义的问题 使用大规模文本训练的预训练模型 不相同点: GPT 是单向的模型 BERT 会将输入遮蔽 elmo 使用的是 LSTM 作为神经网络层,而 GPT 和 BERT 则使用 Transformer 作为神经网络层

2021-08-27 18:27:15

- 没有更多了 -