BERT（Bidirectional Encoder Representation from Transformers）发展历史

本文借鉴了大量网络博客资源，若希望直接获取关于BERT的相关信息，可查阅第二部分“BERT细则”。

文章结构概述

• • 1. word2vec，ELMo，BERT核心特征与差异分析
    • • 1.1 演进历程
      • • word2vec——>ELMo

    • ELMo——>BERT

      • 1.2 ELMo模型

      • • • 优势

      • 局限性

      • 1.3 BERT模型

      • • • 特性

      • 1.4 多模型对比分析

    • 2. BERT技术细节解析

    • • 2.1 遮蔽语言模型（Masked Language Model）
      • 2.2 下一句预测（Next Sentence Prediction, NSP）
      • 2.2 Transformer —— 注意力机制为核心的技术架构
      • • 2.2.1 多头注意力机制（multi-head attention）

    • 2.2.2 自注意力机制（self-attention）

    • 2.2.3 位置编码（position encoding）

      • 2.3 句子层面的表示方法
      • • 2.3.1 句子级负采样策略

    • 2.3.2 句子级表示方