关于项目进展的通知

邮件内容分析

复现细节与方法

采用ResNet20模型对CIFAR10与CIFAR100数据集进行训练。FRN层严格依据论文中所提出的公式进行实现，其中在特征图尺寸为1x1时，eps参数为可学习变量，其他情况下则作为固定常数。整个训练过程共经历了400个epoch，在前50个epoch阶段，学习率通过余弦函数从零逐渐增加至最大值lrmax，随后在第50个epoch之后，学习率再次按照余弦函数的方式下降至零；lrmax的计算方式与论文中一致，具体表达式为lrmax = 0.1*batchsize/256。然而，该方法并未达到BN层所具备的效果，在每块GPU上处理32张图像的情况下，其性能与BN层存在较大差距。

FRN层对应的代码实现如下所示

    class FilterResponseNormalization(nn.Module):
    def __init__(self, num_features, eps=1e-6):
        """
        Input Variables:
        ----------------
            n