Pseudo-Label is a simple and efficient pseudo-labeling method for deep neural networks.

开发了一种高效简洁的深度神经网络半监督学习方法。主要基于有标签数据进行训练，并结合有标记与无标记的数据集共同优化模型参数。对于未标注的数据，在选择伪标签时仅考虑预测概率最高的类别（类似于它们确实是真实标签的表现），从而实现了与熵正则化技术类似的效果。该方法基于类间低密度分离的假设进行设计，并通过实验验证，在处理去噪自动编码器与数据丢失情况时，在MNIST-handrit-10数据集上取得了比传统半监督学习更好的效果（特别适用于仅含少量标注数据的情形）。

文章目录

• • 核心思想
  • 训练过程
  • 核心公式
  • 结论

核心思想

Pseudo-Labels代表了未标记数据中被假设为目标类的所有可能结果。这些结果类似于这些假标签的真实情况。对于每个未标记样本而言，在所有可能的目标类别中选择其被模型预测出的概率最大的那个类别。公式如下：y_i^* = \arg\max_j p(y_j|x_i)

训练过程

By employing pseudo-labels during the finetuning stage