基于Transformer的算法核心

transformer库建立思路

(1) Model类：例如BertModel，当前已包含超过30个基于PyTorch或Keras框架的模型实例；
(2) Configuration类：如BertConfig，主要功能是保存用于构建模型的相关配置参数；
(3) Tokenizer类：如BertTokenizer，其核心作用是 保存分词所用的词表及对应的编码规则；
通过调用from_pretrained()与save_pretrained()这两个方法，实现对上述三类对象实例的加载与存储操作；

语言模型

带掩码的语言模型

即通过移除语句中的部分词汇，并对这些被移除的词汇进行预测所获得的结论

因果语言模型

Causal Language Modeling: 即通过n-gram单词序列预测下一个单词的方法

目前收录一些文本生成模型

GPT-2

OpenAi-GPT模型概述

CTRL

XLNet

Transfo-XL

Reformer

模型汇总

transformer模型主要可以划分为以下几种类型：
自回归(autoaggressive)模型：
*