1.序列到序列学习(seq2seq)
- 上图展示的是 DNA 转录,它也是一种序列到序列的学习
机器翻译
- seq2seq 最早是用来做机器翻译的,给定一个源句子,自动翻译成目标语言
- 给定一个源语言的句子,自动翻译成目标语言
- 机器翻译中的输入序列和输出序列都是长度可变的
seq2seq
- seq2seq 指的是一个特定的模型,它的编码器是一个 RNN(循环神经网络),使用长度可变的序列作为输入,将其转换为固定形状的隐状态;然后将最终的隐藏状态传给解码器,隐藏状态包括了整个源句子(输入序列)的信息;解码器使用另外一个 RNN ,基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元,从而连续生成输出序列的词元
- 编码器将长度可变的输入序列转换成形状固定的上下文变量