もはや「実装した」と呼べるかどうか。既存のコードを少しいじっただけなので。
- 論文 [1711.06788] MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks
- 実装 A TensorFlow implementation of MinimalRNN. · GitHub
論文を要約すると以下の通りである。
再帰型ニューラルネットワーク(RNN)の LSTM や GRU といったモデルでは、更新が複雑なため性質の解釈が難しいという問題がある。
— arXiv 論文メモ (@kavvase) 2017年11月21日
より単純化された構造を持つモデル(MinimalRNN)が考案され、さらに既存のモデルよりも長期の依存性を保持できていることが示された。https://t.co/lhX00lfm8v #arXiv
各種ベンチマークによる検証は各自で(手抜き)。