句子embedding的工作简介（一）

在自然语言处理领域，词嵌入(word embedding)无疑构成了最为关键的基础。然而，人们通常更加关注如何通过词嵌入技术有效表达一个句子或一段文本，即如何实现句子嵌入(sentence embedding)或段落嵌入(paragraph embedding)。

• • 过去的一些解决方案
  • 新的一些进展
  • 结语

过去的一些解决方案

• Bag of Words
  最直观的思路是舍弃句子中词语的排列顺序，将其视为一组无序的词语集合。
  例如，可以对所有词语进行简单的平均处理。这种方式的优势在于计算效率较高，但其缺陷在于未考虑词序信息，在一些对语序较为敏感的任务中，如情感分析（sentiment analysis），其效果并不理想。

  • DAN
    实际上，DAN（Deep Averaging Networks）应归类于Bag of Words方法的一种。由于其具有一定的独特性，因此单独列出。该方法在对所有词语进行平均处理的基础上，进一步叠加了若干层神经网络结构。其特别之处在于，在情感分析任务中表现良好，这在传统的BOW方法中较为少见。

  • RNN
    显然，采用RNN（包括GRU或LSTM）是一种有效的解决方式，它彻底解决了BOW方法忽略语序的问题。然而该方法通常与监督学习任务结合使用，在可扩展性