返回顶部

Seq2Seq模型在解码时,有哪些常用的方法?

0

0/300

评论 1

Andre老师@小象学院

Seq2Seq模型最核心的部分在于解码部分,大量的改进也是基于解码环节。Seq2Seq模型最基础的解码方法是贪心法:即选取一种度量标准后,每次都在当前状态下选择最佳的一个结果,直到结束。贪心法计算代价低,适合作为基准结果与其他方法比较。显然贪心法获得的是一个局部最优解,往往并不能取得最好的效果。 集束搜索是常见改进算法,它是一种启发式算法。该方法会保存beam size个当前的较佳选择。解码的时候每一步根据当前的选择进行下一步扩展和排序,接着选择前beam size个进行保存,循环迭代,直到结束时选择一个最佳的作为编码的结果。 常见的改进方法还有: 解码时使用堆叠RNN 增加Dropout机制 与编码器建立残差连接 加入注意力机制(解码时每一步有针对的关注当前有关编码结果) 加入记忆网络(从外部获取知识)

2021-08-17 16:02:37

- 没有更多了 -