基于自注意力机制对句子表示分析其意义

自注意力机制在句子表示中的应用

相关代码的实现版本已上传至 Github: https://github.com/kenjewu/Structured-Self-Attentive-Sentence-Embedding

句子表示方法研究

句子由词语构成，因此通常首先将其划分为连续的词语，并对每个词语进行表征，随后通过多种组合方式将这些词语的表征整合，从而形成对整个句子的表征。

• 常用的词语表征方法包括：

  1. One-Hot 编码
  2. 词嵌入（Embedding）

One-Hot 编码方式存在一定的局限性，其导致的句子词矩阵具有高度稀疏性。在该方法中，每个词语对应的向量仅有一个元素为1，其余全部为0。此外，任意两个不同词语的向量之间均为正交关系，即 w1 w2T = 0 ，这使得无法有效表达词语之间的语义关联。同时，在面对大规模数据集时，词汇数量剧增，将引发维度灾难的问题。

而采用词嵌入的方式，则是通过特定技术将每个词语映射为一个低维且稠密的向量形式，例如 Word2Vec、Glove 和 FastText 等模型。此类表示方法能够通过计算两个词向量之间的余弦相似度来衡量其语义上的接近程度，并且有效避免了高维空间带来的问题。

_Note: Word2Vec、Glove 和 FastText 的具体