ULMFiT

ULMFiT

• ULMFiT与其他主流算法的对比分析
  • 针对目标语言的任务模型进行微调
  • 针对目标分类器的任务模型进行微调
  • 实验研究
  • 总结与展望

ULMFiT和其他算法的比较

上篇介绍了ELMo。ELMo有以下几个步骤：

通过完成LM任务来进行预训练，
通过使用目标领域数据对模型进行进一步微调，
经过上述步骤后，在完成具体目标任务的过程中完成最终的模型训练

ULMFiT同样需要执行以上所述的步骤。它的论文名称是《Universal Language Model Fine-tuning for Text Classification》，其核心要义在于利用LM模型提供的统一文本表示来进行transfer learning任务。

长久以来，在NLP领域中一直有尝试运用transfer learning的人们；然而遗憾的是，在CV领域中从没有像ImageNet那样取得成功案例出现；或许靠单一特定方法统治整个领域不再可能；但是综观目前的研究成果可知，LM凭借其对语言内部结构的学习能力而成为主流模型。

下面这张表概括一些近年来寻找NLP领域"ImageNet"的尝试：