AdaViT——自适应计算架构的动态网络模型
发布时间
阅读量：
阅读量
Paper地址：https://arxiv.org/abs/2111.15668
GitHub链接：MengLcool/AdaViT
Methods
ViT凭借其内在架构的特点或优势，在抽象语义表达能力和特征表征精度方面表现出较强的能力
- 基于注意力机制的模型构建旨在捕捉全局相关性信息。
- 多头注意力机制的应用不仅能够深入挖掘各子表征空间的独特特性，并且能够有效地进行特征融合。
- 基于多层Transformer架构的设计能够显著提升模型在特征提取方面的性能。
然而，在应对不同难度等级的样本时（即面对不同难易程度的问题），ViT在实际计算过程中所需的不同Patch数量、Attention头的数量或网络层数可能会有所差异（即存在一定的差异），因此我们可以设计出一种**基于样本驱动形式条件计算机制（Sample-driven conditional computation mechanism）**来实现这一目标
全部评论 (0)
还没有任何评论哟~