注意力机制：代码实现案例

学习目标

• 熟悉注意力计算规则的定义及常用的计算方式。
  • 理解注意力机制的概念及其在实际应用中的功能。
  • 掌握构建注意力机制的具体实施流程。

1 注意力机制介绍

1.1 注意力概念

在对事物进行观察的过程中，人们之所以能够迅速形成判断（尽管判断可能存在偏差），主要源于大脑具备迅速聚焦于对象最具识别特征区域的能力，从而完成判断，而非需要逐项详尽审视整个对象后才能得出结论。正是基于这一原理，注意力机制应运而生。

1.2 注意力计算规则

该过程需要三个特定的输入参数Q（查询）、K（键）和V（值），随后依据相应的计算公式得出注意力机制的输出结果，该输出体现了查询在键与值共同作用下的注意力特征表达。当输入的Q、K与V三者相等时，此种计算方式被定义为自注意力机制。

1.3 常见的注意力计算规则

bmm运算示例：

 # 如果参数1形状是(b × n × m), 参数2形状是(b × m × p), 则输出为(b × n × p)

    
 >>> input = torch.randn(10, 3, 4)