Additive Transformer! Spike-driven Transformer code analysis (NeurIPS 2023)

纯加法Transformer！脉冲神经网络和Transformer的Spike-driven Transformer部分代码解读

• 简单叙述
• 注意力部分代码解读
• • 准备工作
  • qkv初始化
  • 注意力计算

仅个人学习记录和个人拙见，有错误地方希望指导～

Spike-driven Transformer

简单叙述

改写说明

SDSA进行了相应的优化调整。具体来说，在纯加法transformer架构中对注意力机制进行了优化。通过图片可以直观地看出该过程的主要变化路径。主要是在矩阵乘法的基础上替换了Hadamard乘法（哈达玛积）。同时引入了点积运算等技术手段，并在这一改进下显著降低了计算复杂度