ViT Slimming-联合结构搜索与Patch Selection
发布时间
阅读量：
阅读量
论文获取地址：https://arxiv.org/abs/2201.00814
项目代码仓库链接：https://github.com/Arnav0400/ViT-Slim
Methods
ViT Slimming作为一种简洁且高效的模型简化策略， 通过融合结构搜索与Patch选择机制，不仅实现了在多个维度和尺度上的模型压缩，同时有效降低了Patch或Token的长度冗余，进而显著减少模型参数数量及计算复杂度。具体实施过程中，在ViT架构中对流动的Tensor引入对应的Soft mask，并在计算时将其进行乘法操作，同时在损失函数中加入对Soft mask的L1正则化约束项：
在此过程中
还没有任何评论哟~