要するにLSTMの内部でバッチ正規化を行うということ。論文と実装は以下の通り。 Tim Cooijmans, Nicolas Ballas, César Laurent, Çağlar Gülçehre, Aaron Courville, "Recurrent Batch Normalization, " arXiv preprint, 2016. https://arxiv.org/abs/1603.0…

Project RNN Enhancement、ということらしい： github.com作者はSeq2Seqへの応用を念頭に置いているらしいが。

TensorFlow実装 github.com Chainer実装 その１ github.com その２ github.com Keras実装 その１ github.com その２（バックエンドはTheano？）github.com 番外編：WaveNetによる音声生成の高速化実装（学習ではない） Fast Wavenet: An efficient Wavenet g…

それぞれは以下の通り（ただしTensorFlow 0.12でのみ動作確認）： MGU (Minimal Gated Unit) 論文 Minimal gated unit for recurrent neural networks 実装 An implementation for MGU based on TensorFlow. · GitHub S-LSTM (Simplified LSTM) 論文 [1601.0…

以下の記事。 culurciello.github.io

ここにある。 github.comHTMLで公開されているものをPDF化している。その影響で一部数式が崩れている。 しかしこれ、著作権的にはどうなんだろうね？

2010年から引用された深層学習系の論文を集めてリストしてくれた人がいた。 github.comリストに入れる基準は，論文の出版年ごとに以下のようになっている。 2016 : +30 citations 2015 : +100 citations 2014 : +200 citations 2013 : +300 citations 2012 :…

ちょっと前の論文だけど： papers.nips.ccTJO氏の論文解読メモはこちら tjo.hatenablog.com 重要な結論としては dropout ratio = 0.5の時にL2正則化の効果が最大になる、ということが示されたというわけです。なのでDeep Learningを実装したりライブラリベー…

Deep Learning JPという研究会（東京大学 松尾研がメイン?）のサイトがある。 deeplearning.jpページのタブから色んな情報に飛べるが， 輪読論文リストのページ 輪読発表資料のページ は要チェックだろう。

この本↓に収録されている， Neural Networks: Tricks of the Trade - SpringerBengio先生の執筆されたChapter↓の、 Practical Recommendations for Gradient-Based Training of Deep Architectures - Springer日本語によるまとめスライド Practical recommen…

多いな… http://www.isba2015.org/files/Deep_Learning_ISBA_2015.pdf

A Statistical View of Deep Learning というシリーズものの記事があったのでメモ。blog.shakirm.comblog.shakirm.comblog.shakirm.comblog.shakirm.comblog.shakirm.comblog.shakirm.comblog.shakirm.com

以下のサイトで、NIPSという国際会議における「深層学習」のトレンドが１０個紹介されている。 Brad Neuberg: Ten Deep Learning Trends at NIPS 2015あとから英語を読み返すのはダルいので、日本語で箇条書きにしておこう； ニューラルネットワークの構造は…