PyTorch 版 Gated Linear Unit (GLU) のラッパー

はじめに

PyTorchにもGated Linear Unit (GLU)は用意されているが，アフィン変換などの部分はGLUモジュールの外で書かないといけない．"Linear" は一体どこへやら．

pytorch.org

なのでラッパーを書いたということ．

ソースコード

ここに置いた．畳み込みはConv1dのみ．もはや"Linear"ではない．おまけで"GatedConv1d"クラスも作っておいた．

gist.github.com