Chaos Free NetworkをTensorflowで実装した

CFN (Chaos-Free Network) 論文 A recurrent neural network without chaos 実装 An implementation of Chaos-Free Network (CFN) in TensorFlow · GitHub

Multiplicative LSTM (Workshop Track in ICLR 2017)をTensorFlowで実装した

はじめに 表題の通り、ICLR 2017のWorkshop Trackで発表されたMultiplicative LSTMを実装した。 論文 Ben Krause, Iain Murray, Steve Renals and Liang Lu, "Multiplicative LSTM for sequence modelling," Workshop Track in ICLR 2017. URL https://openr…

Delta RNNのTensorFlow実装をv0.12で動くようにした

以下のリポジトリにDelta RNNのTensorFlow実装があるのだが、変数のスコープまわりの実装が全然ダメで動かなかったので、フォークして修正を加えたということ。 github.com 修正後の実装は以下。論文 [1703.08864] Learning Simpler Language Models with th…

Zoneout正規化をLSTMに実装した by TensorFlow

論文 Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations実装 An implementation of zoneout regularizer on LSTM-RNN in Tensorflow · GitHub 著者によるプレゼン動画(直接サイトに飛んでみたほうが良いかも) videolectures.net要する…

音声/音楽生成・音響処理分野におけるEnd-to-End系の論文情報とか各種スライド情報とかを忘れないうちにメモ

なんだか最近、当該分野でEnd-to-End系の論文が急に増えたなぁということで、忘れないうちに自分用にメモ。面白そうな論文情報も含めて。もうね、正直言ってお腹いっぱいなんですけど、流れには逆らえないですね。ほとんどarXivなので、信頼性は担保されてお…

Eddingtonの『Space, Time and Gravitation』がProject Gutenbergから無料で読めるのでメモ

Project Gutenbergの以下より。 https://www.gutenberg.org/ebooks/29782ちなみに、Project Gutenbergとは: プロジェクト・グーテンベルク(Project Gutenberg、略称PG)は、著者の死後一定期間が経過し、(アメリカ著作権法下で)著作権の切れた名作などの…

深層学習系の論文の勉強メモを公開している人がいらっしゃったのでメモ

以下より。 github.com私も勉強不足を痛感して日々勉強。

RNNに関するコード、各応用分野(CV, NLPなど)における論文などのリソースを集めたサイト 『Awesome Recurrent Neural Networks』

以下のサイト。 github.com コードは最近の深層学習系パッケージなら入っているからいいとして、論文のまとめはありがたい。このリストの作者は、以下のCV系深層学習の論文関連情報のサイトもメンテしている; github.com

RNN に関するニューラルネットの最新手法をTensorFlowで実装している人がいた

以下のリポジトリ。 github.com既実装は以下: Highway Networks Recurrent Highway Networks Multiplicative Integration Within RNNs Recurrent Dropout Layer Normalization Layer Normalization & Multiplicative Integration LSTM With Multiple Memory…

Recurrent Batch NormalizationをTensorFlowで実装した

要するにLSTMの内部でバッチ正規化を行うということ。論文と実装は以下の通り。 Tim Cooijmans, Nicolas Ballas, César Laurent, Çağlar Gülçehre, Aaron Courville, "Recurrent Batch Normalization, " arXiv preprint, 2016. https://arxiv.org/abs/1603.0…

TensorFlowのRNN系関数群を色々と強化するライブラリ 『Project RNN Enhancement』

Project RNN Enhancement、ということらしい: github.com作者はSeq2Seqへの応用を念頭に置いているらしいが。

FIT2016の企画 「ここから始める情報処理 ~画像、音声、テキスト、検索、学習、一気にまとめてチュートリアル~」 のスライドまとめ

Facebookにて、山崎俊彦氏がまとめていらっしゃったので、こちらにもメモ的に残しておこうということ。 ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016 from Yota Ishida 【FIT2016チュートリアル】ここから始める情報処理 ~音声編~…

WaveNetの各種実装:TensorFlow, Chainer, and Keras

TensorFlow実装 github.com Chainer実装 その1 github.com その2 github.com Keras実装 その1 github.com その2(バックエンドはTheano?)github.com 番外編:WaveNetによる音声生成の高速化実装(学習ではない) Fast Wavenet: An efficient Wavenet g…

『リーマン多様体の等長埋め込み論小史, あるいは外史』

http://www.math.tsukuba.ac.jp/~tasaki/yuzawa/2004/agaoka2004.pdf

KaluzaとKleinの論文の翻訳が見つかった

個人的に興味あるので。 ci.nii.ac.jpci.nii.ac.jp

MGUとかSGUといったLSTMの簡略化版をTensorFlowで実装した

それぞれは以下の通り: MGU (Minimal Gated Unit) 論文 Minimal gated unit for recurrent neural networks 実装 An implementation for MGU based on TensorFlow. · GitHub S-LSTM (Simplified LSTM) 論文 Investigating gated recurrent neural networks …

『The Absolute Differential Calculus』by Tulio Levi-Civita

archive.org

『Tips on publishing in NIPS, ICML or any top tier conferences for ML』を日本語訳してみた

NIPS, ICMLなどといった機械学習系のトップ国際会議に通すコツ、といったところ。 https://goo.gl/iTi2gIこれを以下に訳してみた(直訳と意訳のチャンポンでひどい誤訳もあるかもだけどスマンな)。 賢明な(sensible)ストーリーの筋を持つと一般的に成功する…

高校物理などのまとめ記事

fnorio.com

LSTMの解説記事など

Understanding LSTM Networks -- colah's blogqiita.comqiita.com

いくつかのSpringer本が読めるっぽい

https://archive.org/search.php?query=subject%3A%22Global+analysis+%28Mathematics%29%22

『Ueber den Zusammenhang der Räume constanten Riemann'schen Krümmungsmaasses mit den projectiven Räumen.』 by Friedrich Schur

www.digizeitschriften.de

無料で読めるSerge Langの書籍

https://archive.org/search.php?query=creator%3A%22Lang%2C+Serge%22

『Leçons sur l'intégration des équations aux dérivées partielles du premier ordre』 by Edouard Goursat and Carlo Bourlet

archive.org

リーマンの標準座標系の導出のPDF

http://members3.jcom.home.ne.jp/nososnd/grel/ncr.pdf

Applications of the Absolute Differential Calculus by A.J. McConnell

Shiing-Shen Chern と Claude Chevalley による Élie Cartanの数学上の業績をまとめた論文

以下のリンクより。

英訳されて無料で読めるÉlie Cartanの本および記事

英語で読めるのはありがたい。 The Theory of Spinors On certain differential expressions and the Pfaff problem On the integration of systems of total differential equations Lessons on integral invariants The structure of infinite groups Spac…

メモ:情報幾何を勉強するときの書籍

自分は情報幾何をこれから勉強するわけでもないのだが、メモということで。 情報理論 (ちくま学芸文庫) 情報理論の基礎―情報と学習の直観的理解のために 情報幾何学の基礎 (数理情報科学シリーズ) 別冊数理科学 情報幾何学の新展開 2014年 08月号 Informatio…

Geometry, relativity, and the fourth dimension by Rudolf v. B. Rucker.