超细节的BERT/Transformer知识点

随着自然语言处理技术的持续演进，关于BERT/Transformer相关理论与实践的探讨也愈发深入，以下将通过问答形式对BERT/Transformer进行系统性解析。

1、Transformer模型中哪些部分实现了权重共享？为何具备权重共享的可行性？

2、Self-Attention机制的时间复杂度是如何推导得出的？

3、在不考虑多头机制的前提下，若不将词向量与QKV参数矩阵相乘，会对模型产生何种影响？

4、BERT为何选择遮蔽15%的词汇？是否可以采用其他比例？

5、BERT输入长度为何被限制为512个词？为何仅允许两个句子组合输入？

6、为什么在BERT的第一句前会添加[CLS]标记？

1、Transformer模型中哪些部分实现了权重共享？为何具备权重共享的可行性？

在Transformer架构中，存在两个主要实现权重共享的位置：

（1）编码器（Encoder）与解码器（Decoder）之间的嵌入层（Embedding Layer）实现权重共享；

（2）解码器内部嵌入层与全连接层（FC Layer）之间也进行了参数共享。

关于第一点，在《Attention is All You Need》一文中，Transformer最初被应用于机器翻译任务。由于源语言和