自监督模型 Self-supervised learning（李宏毅2022）

这个红色的怪物叫做ELMo 、最早的self-supervised learning model

作业四的模型也是个transformer，只有0.1个million

最早的是ELMo

Cookie Monster等你来凑😼

T5是Google做的，跟车子也没什么关系，

在无标签的情况下，默认采取有监督的方式处理问题；将未标注的数据划分为两部分，在其中一部分上构建输入模型，在另一部分上生成目标数据，并在此基础