LayerNorm 2D图解 PyTorch代码实现及使用方法
发布时间
阅读量:
阅读量
1. LayerNorm, BN 对比

LayerNorm2d结构设计与实现
class LayerNorm2d(nn.Module):
def __init__(self,
embed_dim,
eps=1e-6,
data_format="channels_last") -> None:
super().__init__()
self.embed_dim = embed_dim
self.weight = nn.parameter.Parameter(torch.ones(embed_dim))
self.bias = nn.parameter.Parameter(torch.zeros(embed_dim))
self.eps = eps
self.data_format = data_format
全部评论 (0)
还没有任何评论哟~
