QT(以下简称QT 论文)可视为Skip-thought的优化升级版,其设计方式更为简洁,且在实际应用效果上相较于InferSent等其他算法略胜一筹。
Skip-thought
掌握QT技术必然需要深入理解Skip-thought(论文)。Skip-thought这一名称本身便具有启发性,其本质可视为句子层面的Skip-gram(word2vec论文)模型。在传统的word2vec算法中,skip-gram模式通过中心词来推测上下文中的词语;类似地,Skip-thought模型则通过中心句子来预测上下文中的句子内容。
如图所示,位于中间的句子“I could s