bert 一篇全解析！
发布时间
阅读量：
阅读量
BERT
author by:jcyang
基础概念
标准遮蔽语言模型MLM
- 基于遮蔽词的邻近词估计其输出结果
- 双方面分析左右及上下文信息以实现单词预测
Attention
什么是attention
处理一个问题的时候把“注意力”放在重要的地方
底层实现是运用token与不同的W权重做乘积实现注意力
为什么使用attention
- RNN在每个时间步的计算都基于前一时间步的输出结果，并且每次只能按序列生成下一个词，在并行计算方面存在局限性
- RNN架构难以有效提取数据中的长程记忆信息，并且注意力机制仅能聚焦于数据中最关键的部分
- 在CNN模型中，通过卷积核尺寸来决定对token局部上下文关系的提取能力，在下图左侧示例中设定卷积核尺寸为3，则仅能提取Token所在位置左右各一的位置信息
还没有任何评论哟~