DeViSE: A Deep Visual-Semantic Embedding

2013年发表的一篇文献中提出了名为DeViSE的方法，其核心在于融合了传统视觉识别任务中所采用的神经网络架构，以及词向量处理技术word2vec中的Skip-gram模型，从而构建出一个能够同时兼顾视觉特征与语义信息的零样本学习模型ZSL。该模型在实际应用中表现出良好的性能，即便在当前阶段，其准确率依旧处于较高水平。

背景

Skip-gram模型解析

Skip-gram属于word2vec模型的组成部分，其核心在于根据输入词预测其上下文内容。然而，经过训练后，该模型的主要目标并非用于预测任务，而是获取隐层中所学习到的权重参数。

• 首先，我们需要建立一个完整的神经网络结构：其中包括：输入层、输出层以及隐层。
• 以句子I want to eat an apple为例，我们选取其中一个词作为输入，比如“eat”。同时定义一个参数Skip-window，它表示从当前输入词的一侧（左侧或右侧）选取多少个词语作为上下文。若将Skip-window = 2，则意味着从输入词的左侧和右侧各选取两个词语组成窗口[“want”, “to”, “an”, “apple”]。
• 另一个关键参数是num-skips，它决定了从窗口中选择多少个不同的词语作为输出。
• 当设置$Skip-window