Recurrent Batch NormalizationをTensorFlowで実装した

要するにLSTMの内部でバッチ正規化を行うということ。

論文と実装は以下の通り。

• Tim Cooijmans, Nicolas Ballas, César Laurent, Çağlar Gülçehre, Aaron Courville, "Recurrent Batch Normalization, " arXiv preprint, 2016. https://arxiv.org/abs/1603.09025
• 実装

本実装は以下の先行実装に依拠しており、ここに感謝する次第である。

• GitHub - OlavHN/bnlstm: Batch normalized LSTM for tensorflow
• GitHub - cooijmanstim/recurrent-batch-normalization

前者はTensorFlow実装、後者はTheano実装であるが、前者は後者を参考にして実装された。本実装はさらに前者の実装に対して自分用に手を加えたということである。なおTensorFlow 0.10でのみ動作確認をしている。

本実装ではBN_LSTMCellクラスが定義されている。使い方の注意点は、BN_LSTMCellのインスタンスを作成する際、引数に'is_training'を取るということである。これはバッチ正規化に関して、学習時と評価時で振る舞いを変えるためのものである。より具体的に言うと、学習時には各ミニバッチについて統計量（平均と分散）を計算してバッチ正規化を行う必要があるのだが、評価時の各ミニバッチに対しては改めて統計量を計算する必要はなく、学習データ全体から求められる確定した統計量に基づいてバッチ正規化を行うのである。

今後はGRUやSGU, MGUなどにrecurrent batch normalizationを実装する予定である。

TensorFlowのRNN系関数群を色々と強化するライブラリ 『Project RNN Enhancement』

Project RNN Enhancement、ということらしい：
github.com

作者はSeq2Seqへの応用を念頭に置いているらしいが。

FIT2016の企画 「ここから始める情報処理 ～画像、音声、テキスト、検索、学習、一気にまとめてチュートリアル～」 のスライドまとめ

Facebookにて、山崎俊彦氏がまとめていらっしゃったので、こちらにもメモ的に残しておこうということ。

• ディープラーニングでおそ松さんの６つ子は見分けられるのか？ FIT2016 from Yota Ishida

• 【FIT2016チュートリアル】ここから始める情報処理 ～音声編～ by 東工大・篠崎先生 from Toshihiko Yamasaki

• ゼロから始める自然言語処理 【FIT2016チュートリアル】 from Yuki Arase

• 検索評価ツールキットNTCIREVALを用いた様々な情報アクセス技術の評価方法 from kt.mako

• 【FIT2016チュートリアル】ここから始める情報処理 ～機械学習編～ from Toshihiko Yamasaki

WaveNetの各種実装：TensorFlow, Chainer, and Keras

• TensorFlow実装

github.com

• Chainer実装
  • その１ github.com
  • その２ github.com

• Keras実装
  • その１ github.com
  • その２（バックエンドはTheano？）github.com

• 番外編：WaveNetによる音声生成の高速化実装（学習ではない）

Fast Wavenet: An efficient Wavenet generation implementation
github.com
どれくらい高速か、というと論文の通りにナイーブに実装すると、層の数Lに対して2^Lに比例するオーダーだったのが、Lの1次に比例するオーダーになるそうだ（下図参照）。

現在、もっとも開発が盛んなのはTensorFlow実装のリポジトリだろうか。生成の高速化実装も取り込まれた。充実感がある。
これらが実際に使い物になるかどうかはまた別の問題である。

『リーマン多様体の等長埋め込み論小史, あるいは外史』

http://www.math.tsukuba.ac.jp/~tasaki/yuzawa/2004/agaoka2004.pdf

KaluzaとKleinの論文の翻訳が見つかった

個人的に興味あるので。
ci.nii.ac.jp

ci.nii.ac.jp

MGUとかSGUといったLSTMの簡略化版をTensorFlowで実装した

それぞれは以下の通り（ただしTensorFlow 0.12でのみ動作確認）：

• MGU (Minimal Gated Unit)
  • 論文 Minimal gated unit for recurrent neural networks
  • 実装 An implementation for MGU based on TensorFlow. · GitHub

• S-LSTM (Simplified LSTM)
  • 論文 [1601.02539] Investigating gated recurrent neural networks for speech synthesis
  • 実装 An implementation of Simplified LSTM (S-SLTM) based on TensorFlow. · GitHub

• SGU (Simple Gated Unit)
  • 論文 Deep Gate Recurrent Neural Network
  • 実装 An implementation of SGU (Simple Gated Unit) and DSGU (Deep SGU) based on TensorFlow. · GitHub

• Delta RNN
  • 論文 [1703.08864] Learning Simpler Language Models with the Differential State Framework
  • 実装 An implementation of Delta RNN in TensorFlow · GitHub

• SRU (Simple Recurrent Unit)
  • 論文 [1709.02755] Training RNNs as Fast as CNNs
  • 実装 A TensorFlow implementation of Simple Recurrent Unit (SRU). · GitHub

• MinimalRNN
  • 論文 [1711.06788] MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks
  • 実装 A TensorFlow implementation of MinimalRNN. · GitHub

これらは基本的にLSTMの構造を簡略化して、ゲートやパラメータ（重み行列）の数を減らしている。例えばMGUはLSTMの約半分のパラメタ数になっている。こうすることで可視化や解析がしやすくなったり、学習時間やデコードの時間が減らせるので嬉しい。また、パラメタ数削減によりL1正則化と類似した効果も期待できるだろう（ホントに？）。ちなみに上記論文で比較対象に挙がっているGRU (Gated Recurrent Unit) はパラメタ数的にLSTMの約3/4になっている。

LSTMの各構成要素（ゲートとか）のうち、どれが一番性能が効くのか、ということをきちんと調べた論文は以下が挙げられる。

• An Empirical Exploration of Recurrent Network Architectures
• LSTM: A Search Space Odyssey

これら論文によれば、性能を一番左右するのはForget gateだそうで、またForget gateのbiasは1.0にすると良いらしい。TensorFlowにおけるLSTM実装は既にそうなっている。上記各ネットワークアーキテクチャにおいて、簡略化されても残るのはForget gateの機能だったりする。