Driver Transformer

全加性Transformer！该模型融合了突触驱动机制与传统Transformer架构的优势

在本研究中提出了一种基于神经元驱动的Transformer架构，在该架构中首次将神经元驱动的计算模式融入传统的Transformer架构体系。与原始自注意力机制相比，在相同硬件条件下运行时能耗降低了87.2倍，在ImageNet-1K基准测试中，在神经网络领域达到了当前最优性能水平（SNN-SOTA）。

论文地址：https://arxiv.org/abs/2307.01694

代码地址：https://github.com/BICLab/Spike-Driven-Transformer

得益于基于二进制脉冲信号的事件驱动机制（Spike-based event-driven framework）的支持下, 脉冲神经网络（Spiking Neural Network, SNN）提供了一种低能耗、适合深度学习需求的独特架构 [1]. 本研究提出了一种创新性的Spiking-Driven Transformer架构, 这一设计首次将spike-driven计算范式成功融入Transformer模型之中. 该网络架构仅依赖于稀疏加法运算实现信息传递, 并展现出独特的性能优势：第一, 其全连接层采用稀疏设计; 第二, 所有非线性变换均采用门控可加性变换; 第三, 网络参数规模呈指数级压缩;