FRN执行实验日志

当batchsize设置为128时，对变化ramp-up进行观察，以确定最适宜的ramp-up epoch数值。

初步判断表明，最理想的rampup阶段应设置在50至80个训练周期之间，当前暂定为50个周期。

0：后续实验计划

在cifar100数据集上，FRN的表现过于欠佳，所复现的实验结果存在明显偏差，需进行修正。

测试3所采用的策略究竟具备哪些优势？所谓的加速收敛具体指代何种含义？
后续的实验将从以下三个维度展开分析：
1：该方法是否具备良好的稳定性？
2：该方法究竟具有哪些实际优势？
3：该方法是否具备进一步优化的空间？
针对第一个问题，较为合理的验证方式是通过多个数据集进行测试。考虑到当前计算资源的限制，仅在svhn和cifar100两个数据集上进行实验已足以说明相关问题。
针对第二个问题，由于FRN在cifar100上的复现效果不佳，且难以找到更有效的参数调整方案，同时若该方法对BN、LN、WN等其他归一化方式均能产生积极影响，则其研究价值将大大提升。因此，暂不继续以FRN为基础，转而聚焦于BN、LN、WN等方法。从BN开始进行探索。 ~~当前FRN面临的主要困境在于训练过程较为困难，必须借助warmu