2024-01-12から1日間の記事一覧

Conv1d の後段にBatchNorm1dではなくLayerNormを置きたいとき

GroupNormを使う. nn.BatchNorm1d(out_channels) から nn.GroupNorm(1, out_channels) への置き換えでOK.GroupNormの第1引数はグループ数であり,ここを1に指定するとLayerNormと等価になる. discuss.pytorch.org