word2vec损失函数及其在doc2vec中的应用

更新：
9/4/20
对SG模型在最终计算loss环节的相关内容进行了进一步完善，并修正了doc2vec损失计算部分存在的偏差。

11/17/20
新增了有关近似训练方法的部分说明。

词义表示

在自然语言处理领域，核心问题之一在于如何对词语及句子进行有效表征（Represent the Meaning of a Word）。随后将阐述的多种技术手段各具特点，尽管存在差异，但整体上呈现出持续优化与发展的趋势。

WordNet

WordNet 是一个庞大的英文词汇数据库。名词、动词、形容词和副词被划分为多个认知同义词集合（即 synsets），每个集合用于表达一个独立的概念。这些 synsets 通过概念语义关系和词汇关系相互连接。

pros

1. 可用于查找同义词。便于用户获取相关词汇。

cons

1. 无法收录新出现的词汇（难以保持更新）。存在新词缺失的问题。
2. 具有主观性。存在一定的主观判断因素。
3. 需要大量人工参与构建与维护。依赖人力进行整理和更新。

One Hot Encoding技术应用

离散表示。

缺点

1. 特征维度异常庞大，存在维度爆炸问题。
2. 难以准确衡量词语之间的相似性，因所有向量彼此正交，无法进行有效计算。

Bag of W