句子embedding的工作简介（二）：InferSent

本文将对2017年具有广泛影响力的论文论文：Supervised Learning of Universal Sentence Representation from Natural Language Inference Data，由Alexis Conneau等人共同撰写进行介绍。截至目前，该研究在自然语言处理的诸多任务中均实现了最先进的性能表现。

• • 贡献
  • 实验与结果分析
  • 总结与展望

贡献

对于句子embedding的研究已有诸多成果，依据学习方式可将其划分为无监督学习与监督学习两大类型。通常情况下，若我们追求的是具备广泛适用性的句子embedding，能够适配多种任务，那么无监督方法往往更具优势，因为其不易受到具体NLP任务的影响。例如，skip-thought便是一种有效利用无监督方法生成句子embedding的算法。

然而论文作者发现，在计算机视觉领域中，许多模型会先基于ImageNet进行预训练，随后再应用于其他任务中（即迁移学习）。这表明监督学习同样可以生成具有迁移能力的特征。基于这一观察，作者希望采用监督学习的方法来寻找通用的句子表征。但作者需要解决两个关键问题：

1. 在NLP领域中，什么样的数据相当于ImageNet
   数据与任