深層学習

MinimalRNNをTensorFlowで実装した(だけ)

もはや「実装した」と呼べるかどうか。既存のコードを少しいじっただけなので。 論文 [1711.06788] MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks 実装 A TensorFlow implementation of MinimalRNN. · GitHub 論文を要約…

Chaos Free NetworkをTensorflowで実装した

CFN (Chaos-Free Network) 論文 A recurrent neural network without chaos 実装 An implementation of Chaos-Free Network (CFN) in TensorFlow · GitHub

Multiplicative LSTM (Workshop Track in ICLR 2017)をTensorFlowで実装した

はじめに 表題の通り、ICLR 2017のWorkshop Trackで発表されたMultiplicative LSTMを実装した。 論文 Ben Krause, Iain Murray, Steve Renals and Liang Lu, "Multiplicative LSTM for sequence modelling," Workshop Track in ICLR 2017. URL https://openr…

Zoneout正規化をLSTMに実装した by TensorFlow

論文 Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations実装 An implementation of zoneout regularizer on LSTM-RNN in Tensorflow · GitHub 著者によるプレゼン動画(直接サイトに飛んでみたほうが良いかも) videolectures.net要する…

音声/音楽生成・音響処理分野におけるEnd-to-End系の論文情報とか各種スライド情報とかを忘れないうちにメモ

なんだか最近、当該分野でEnd-to-End系の論文が急に増えたなぁということで、忘れないうちに自分用にメモ。面白そうな論文情報も含めて。もうね、正直言ってお腹いっぱいなんですけど、流れには逆らえないですね。ほとんどarXivなので、信頼性は担保されてお…

RNNに関するコード、各応用分野(CV, NLPなど)における論文などのリソースを集めたサイト 『Awesome Recurrent Neural Networks』

以下のサイト。 github.com コードは最近の深層学習系パッケージなら入っているからいいとして、論文のまとめはありがたい。このリストの作者は、以下のCV系深層学習の論文関連情報のサイトもメンテしている; github.com

RNN に関するニューラルネットの最新手法をTensorFlowで実装している人がいた

以下のリポジトリ。 github.com既実装は以下: Highway Networks Recurrent Highway Networks Multiplicative Integration Within RNNs Recurrent Dropout Layer Normalization Layer Normalization & Multiplicative Integration LSTM With Multiple Memory…

Recurrent Batch NormalizationをTensorFlowで実装した

要するにLSTMの内部でバッチ正規化を行うということ。論文と実装は以下の通り。 Tim Cooijmans, Nicolas Ballas, César Laurent, Çağlar Gülçehre, Aaron Courville, "Recurrent Batch Normalization, " arXiv preprint, 2016. https://arxiv.org/abs/1603.0…

TensorFlowのRNN系関数群を色々と強化するライブラリ 『Project RNN Enhancement』

Project RNN Enhancement、ということらしい: github.com作者はSeq2Seqへの応用を念頭に置いているらしいが。

WaveNetの各種実装:TensorFlow, Chainer, and Keras

TensorFlow実装 github.com Chainer実装 その1 github.com その2 github.com Keras実装 その1 github.com その2(バックエンドはTheano?)github.com 番外編:WaveNetによる音声生成の高速化実装(学習ではない) Fast Wavenet: An efficient Wavenet g…

MGUとかSGUといったLSTMの簡略化版をTensorFlowで実装した

それぞれは以下の通り: MGU (Minimal Gated Unit) 論文 Minimal gated unit for recurrent neural networks 実装 An implementation for MGU based on TensorFlow. · GitHub S-LSTM (Simplified LSTM) 論文 Investigating gated recurrent neural networks …

ニューラルネットワークのアーキテクチャと歴史をまとめた記事(英語)

以下の記事。 culurciello.github.io

Bengio先生らの書籍『Deep Learning』をPDF化した猛者がいた

ここにある。 github.comHTMLで公開されているものをPDF化している。その影響で一部数式が崩れている。 しかしこれ、著作権的にはどうなんだろうね?

深層学習を勉強する上で重要っぽい論文リスト(2010年からの通算引用数)

2010年から引用された深層学習系の論文を集めてリストしてくれた人がいた。 github.comリストに入れる基準は,論文の出版年ごとに以下のようになっている。 2016 : +30 citations 2015 : +100 citations 2014 : +200 citations 2013 : +300 citations 2012 :…

Dropoutの理解を深める論文

ちょっと前の論文だけど: papers.nips.ccTJO氏の論文解読メモはこちら tjo.hatenablog.com 重要な結論としては dropout ratio = 0.5の時にL2正則化の効果が最大になる、ということが示されたというわけです。なのでDeep Learningを実装したりライブラリベー…

深層学習の研究会 - Deep Learning JP

Deep Learning JPという研究会(東京大学 松尾研がメイン?)のサイトがある。 deeplearning.jpページのタブから色んな情報に飛べるが, 輪読論文リストのページ 輪読発表資料のページ は要チェックだろう。

深層学習の知見を深めるキャンペーン

この本↓に収録されている, Neural Networks: Tricks of the Trade - SpringerBengio先生の執筆されたChapter↓の、 Practical Recommendations for Gradient-Based Training of Deep Architectures - Springer日本語によるまとめスライド Practical recommen…

『Introduction to Deep Learning and its applications in Computer Vision』 という257枚のスライド

多いな… http://www.isba2015.org/files/Deep_Learning_ISBA_2015.pdf

A Statistical View of Deep Learning という記事のシリーズ

A Statistical View of Deep Learning というシリーズものの記事があったのでメモ。blog.shakirm.comblog.shakirm.comblog.shakirm.comblog.shakirm.comblog.shakirm.comblog.shakirm.comblog.shakirm.com

「10 Deep Learning Trends at NIPS 2015」の日本語化(?)

以下のサイトで、NIPSという国際会議における「深層学習」のトレンドが10個紹介されている。 Brad Neuberg: Ten Deep Learning Trends at NIPS 2015あとから英語を読み返すのはダルいので、日本語で箇条書きにしておこう; ニューラルネットワークの構造は…