返回顶部

Bert怎样实现mask的

0

0/300

评论 1

Andre老师@小象学院

在句子中随机遮盖15%的单词,通过学习来预测这些词是什么,同时15%的词中有80%用[mask]来替换,10%用原词,剩余的10%用随机词来替换。 在判断两个句子是否连续,从数据集选择两个句子,其中一个句子是上一个句子的下一句的概率为50%,剩下的50%是由数据中随机选取的一句话

2021-11-23 17:20:53

- 没有更多了 -