GroupNormを使う.
nn.BatchNorm1d(out_channels)
から
nn.GroupNorm(1, out_channels)
への置き換えでOK.GroupNormの第1引数はグループ数であり,ここを1に指定するとLayerNormと等価になる.
GroupNormを使う.
nn.BatchNorm1d(out_channels)
から
nn.GroupNorm(1, out_channels)
への置き換えでOK.GroupNormの第1引数はグループ数であり,ここを1に指定するとLayerNormと等価になる.