一文读懂「PTMs , Pre-training models」预训练模型

对于有意学习算法或尝试现有框架的用户而言，预训练模型能够提供极大的便利。由于受到时间限制或计算资源不足的影响，并非所有情况下都能从零开始构建模型，这正是预训练模型存在的意义所在！

一般来说，经过预训练的网络参数，尤其是位于网络底层的参数，所提取出的特征与具体任务的相关性越低，其通用性就越强。因此，在处理新任务时，通常会采用这些底层预训练参数作为初始值。而高层特征与特定任务的关联性较强，在实际应用中可以不使用这些参数，或者通过微调的方式，利用新的数据集去除高层中与任务无关的特征提取部分。

一、预训练模型

1、什么是预训练模型？

预训练模型指的是在大规模数据集上完成初步训练的神经网络结构，其在通用任务中习得的特征表达能够被应用于其他具体任务之中。该方法的核心理念是借助海量数据所蕴含的信息对模型参数进行初始化，随后通过微调或迁移学习的方式，使模型能够适配于特定的应用场景。

换句话说，在训练过程结束后表现较为优异的一组参数配置，通常会被研究者公开共享以供他人借鉴。目前在github平台上，可以发现大量包含预训练权