昇思25天学习打卡营第8天 | 应用实践MindSpore实现BERT对话情绪识别

BERT模型

基本介绍

昨天体验实践所涉及的模型属于自然语言处理领域范畴；今天使用的同样是这一领域内的常见应用。昨天使用的MusicGen属于LLM领域，并采用基于transformer架构的设计；而今天的BERT则采用了双向设计。主要目的是体验实践利用MindSpore框架运行BERT模型，并对其进行全面介绍；如果想深入了解细节，则建议查阅相关技术资料。因此，在这里仅会简要介绍BERT的基本概念及其在MindSpore中的应用方法；如果想深入了解细节，则建议查阅相关技术资料。

模型简介

BERT名称是源自于Transformers中的双向编码表征（Bidirectional Encoder Representations from Transformers）。这种新型的语言模型由谷歌于2018年底开发并发布。与BERT类似的预训练语言模型包括问答系统、实体识别技术、自然推理方法以及分类分析等多种功能，在多个NLP任务中展现出重要价值。该模型基于Transformer架构中的Encoder组件，并结合其双向结构设计。

BERT模型的主要创新体现在其预训练阶段

BERT预训练完成后会将其嵌入表及其12层或24层Transformer权重分别存储下来（分别对应BERT-BASE或BERT-LARGE版本）。基于预训练好的BERT模型可以通过微调的