Advertisement

LayerNorm 2D图解 PyTorch代码实现及使用方法

阅读量:

1. LayerNorm, BN 对比

请添加图片描述

LayerNorm2d结构设计与实现

复制代码
    class LayerNorm2d(nn.Module):
    def __init__(self,
                 embed_dim,
                 eps=1e-6,
                 data_format="channels_last") -> None:
        super().__init__()
        self.embed_dim = embed_dim
        self.weight = nn.parameter.Parameter(torch.ones(embed_dim))
        self.bias = nn.parameter.Parameter(torch.zeros(embed_dim))
    
        self.eps = eps
        self.data_format = data_format
    

全部评论 (0)

还没有任何评论哟~