BERT基础

BERT，全称为 Bidirectional Encoder Representations from Transformers，源自 Google AI Language 团队发表的论文：

[BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/pdf/ 1810.04805.pdf)

该模型首先在 BooksCorpus 数据集上完成预训练过程，随后在针对具体任务时进行参数微调以提升性能。

此模型可广泛应用于多个自然语言处理场景，例如问答系统、情感分析、垃圾邮件识别、命名实体抽取以及文档分类等。在当时，BERT 在 11 项 NLP 任务中均取得了突破性成果，并在自然语言处理领域引发了广泛关注。这些任务涵盖问答（如 SQuAD v1.1）以及推理（如 MNLI）等多个方面。

 GLUE ：General Language Understanding Evaluation

    
 MNLI ：Multi-Genre Natural Language Inference
    
 SQuAD v1.1 ：The Standford Question Answering Dataset