分布式文本NLP表示

文章结构概览

• 借助矩阵运算的实现方式

  • 依托神经网络架构的处理手段

  • • NNLM（Neural Network Language Model）
    • 连续词袋模型CBOW
    • skip-gram

  • 应用预先训练完成的词向量

基于矩阵的方法应用

• 通过某词语周边的其他词汇来表征该词语
  • 共现矩阵（Cocurrence matrix）
    主要用于识别主题，处理词语之间相似关系的表达；
    将共现矩阵中的行或列作为词语的向量表示
    例如：语料库内容如下：
    • I like deep learning.
    • I like NLP.
    • I enjoy flying.

则对应的共现矩阵呈现如下：（采用对称的窗口函数，左右窗口长度均为1）

例如：“I like”这一短语在第1句与第2句中均有出现，总计共出现2次，因此数值为2。
对称窗口的含义在于，“like I”这一组合同样出现了2次。

当将共现矩阵的行（列）作为词语的向量表示时，可以发现like与enjoy这两个词均出现在