word2vec模型思想与代码实现

---

CS224d－Day 3:

word2vec 有两个模型，CBOW 和 Skip-Gram，今天先讲 Skip-Gram 的算法和实现。

课件

---

Skip-Gram 能达到什么效果？

例如，在词汇库中存在这样一句话："The cat jumped over the puddle"；当我们将获得"jumped"这个词时，则能够推断出其周围的词汇："The", "cat", "over", "the", "puddle"；这正是skip gram模型所做的事情：通过分析上下文词语来预测主语词语的作用机制。

Skip-gram 算法如下

其中, word i 对应的 o