Q-Sparse: 让所有大语言模型实现全稀疏激活

自然语言处理领域中，大语言模型（LLMs）已取得显著进展，然而其较高的计算开销与内存消耗却制约了其在实际场景中的应用。针对这一问题，学界提出了多种优化LLM性能的途径，例如量化、剪枝以及模型蒸馏等技术手段。其中，借助稀疏性特征以降低模型激活参数数量的研究方向展现出广阔的发展潜力。

一种被称作Q-Sparse的简洁且高效的策略被提出，该方法能够实现LLM在推理过程中的全面稀疏化处理，从而显著增强运算效率。Q-Sparse的核心理念在于对激活值实施top-K稀疏化操作，并结合直通估计器（straight-through estimator）进行训练阶段的优化。

Q-Sparse核心特性解析

能够实现与基准LLM相近的表现，并且在推理过程中展现出更高的运算效率。

确立了稀疏激活LLM推理过程中的最佳缩放规律。

在多种应用场景中均表现出良好的适应性，涵盖从零开始训练、对现有LLM进行持续训练以及参数微调等多种方式。

兼容全精度及1比特精度的LLM（例如BitNet b1.58）。

将BitNet b1.58与Q-Sparse（可集成MoE机制）相结合，为未来LLM在效率方面的突破奠定了基础，并指明了清晰的发展方向。

Q-Sparse的 架构 __

Q-Sparse在