Teacher-forcing, Student-forcing, Schedul-sampling, Teacher-recommended and Professor-forcing training strategies

「Teacher forcing」

倘若在每一步预测过程中，能够借助教师的引导，即提供前一词的准确答案，那么decoder将能够迅速进入正确的运行轨迹，从而加快训练过程的收敛速度。因此，这种策略被命名为teacher forcing。本质上，该操作旨在提升训练阶段的稳定性与效率。

劣势包括：（1）在预测（inference stage）环节中，教师将不再提供参考答案，此时模型完全依赖自身判断，容易出现偏差甚至失败。

（2）针对NMT任务而言，并不能确保某一语言中的每个词汇在另一种语言中均存在对应的表达形式【1

「Free running」与「Student forcing」若在初始阶段出现偏差，将导致后续步骤持续累积错误（即所谓的「误差爆炸」现象，也称exposure bias），从而显著增加训练难度。

为同时发挥两者的优势并避免各自的不足之处，

更优且更为普遍采用的策略是：教师仅提供适度的引导，而学生则主动进行学习。具体而言，我们设定一个概率值p，在每一步骤中，以概率p依据前一步的输入进行预测，以概率1-p参考教师提供的提示进行预测。这种策略被称作「计划采