深層学習
拡散モデルに関する備忘録として。 大量に関連リンクを集めてもそれだけで満足してしまいがちなので、この記事では少なめで。 書籍 解説論文 解説記事 解説動画 その他 実装 書籍 拡散モデル（岡野原 大輔 著） サポートページ 解説論文 [2208.11970] Unders…
はじめに AIミュージックバトル！『弁財天』が配布しているスターターキットについて、PyTorch版を作成した記事を以前書いたことがあった。 tam5917.hatenablog.com その記事の段階では、Google Colabのノートブックを用意していなかったので、今回作ってみ…
異常音検知に関して、まとめてリストしておく。備忘録。 解説論文・スライド スライド 論文 ソフトウェア データセット 書籍 コンペティション 解説論文・スライド スライド 音響信号に対する異常音検知技術と応用 音響信号に対する異常音検知技術と応用 fro…
はじめに 実装 実験 実験条件 実験結果 おわりに はじめに SNSにて、しゃをみん氏が興味深い記事をツイートされていた。 昨日書きました。「コンピューターは遂に「音の高低」を理解した」と言えるほどの大きな進歩です。【注目論文】Sinusoidal Frequency E…
はじめに スターターキットについて スターターキットが提供するモデルの概要 実装 必要なパッケージ 実装の概要 メロディ生成実験 実験条件 実験結果 実装の舞台裏やTIPS、TensorFlow版との違いなど おわりに はじめに 最近、下記のイベントが開催されるこ…
はじめに 事前準備 実装の概要 環境音合成実験 実験条件 実験結果 実装の舞台裏など おわりに はじめに 以前、Onoma-to-Waveを実装した記事を書いたことがあった： tam5917.hatenablog.com Onoma-to-Waveとはオノマトペ（文字列）を環境音（スペクトログラム…
はじめに Attention is All You Needという論文で「warmup & ステップ数の逆平方根で学習率を減衰」させる学習率スケジューリングが提案されたが、そのようなスケジューリングを手軽に行うスケジューラを書いたということである。 ソースコード from torch.o…
はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじ…
wav2pixというGANの派生モデルがある。 要するに、音声から顔画像を生成するgeneratorを持つGANである。 図1: wav2pixのネットワーク構成 qiita.com wav2pixの実装はgithub上に見つかるのだが、いかんせんpython2系で実装されておりイマイチだったので、 こ…
はじめに 2021年8月22日現在、Pythonの異常検知用パッケージであるPyODにガウス混合モデル（Gaussian Mixture Model; GMM）ベースの 異常検知が実装されていなかったので、それを実装したということである。 PyODのインストール pipでインストール可能である…
はじめに 教師なし異常検知の機械学習モデルの一つとして、"Deep Autoencoding Gaussian Mixture Model" （以降DAGMM）が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したというこ…
はじめに 教師なし異常検知の機械学習モデルの一つとして、"One-Class Neural Network" （以降OC-NN）が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したということである。 異常検…
はじめに 外れ値検知の機械学習モデルの一つとして"Deep SVDD" が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したということである。 外れ値検知は1クラス分類と捉えることができ…
深層距離学習の一つであるAdaCosはとても有効である。 PyTorch実装も利用できる。 github.com ところがこの実装には（2021/04/24時点）、使い方を間違えるとNaNが頻発する不具合がある。 forward関数内でscaleをadaptiveに更新しているのだが、学習データの…
サーベイ論文 Normalizing Flows: Introduction and Ideas (2019) URL Normalizing Flows for Probabilistic Modeling and Inference (2019) URL 代表的なもの NICE: Non-linear Independent Components Estimation (2014) URL MADE: Masked Autoencoder for…
Kingma氏が第１著者の論文を（独断と偏見で）抜き出してまとめておく。 Adam: A Method for Stochastic Optimization Auto-Encoding Variational Bayes Semi-Supervised Learning with Deep Generative Models Improved Variational Inference with Inverse …
もはや「実装した」と呼べるかどうか。既存のコードを少しいじっただけなので。 論文 [1711.06788] MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks 実装 A TensorFlow implementation of MinimalRNN. · GitHub 論文を要約…
CFN (Chaos-Free Network) 論文 A recurrent neural network without chaos 実装 An implementation of Chaos-Free Network (CFN) in TensorFlow · GitHub
はじめに 表題の通り、ICLR 2017のWorkshop Trackで発表されたMultiplicative LSTMを実装した。 論文 Ben Krause, Iain Murray, Steve Renals and Liang Lu, "Multiplicative LSTM for sequence modelling," Workshop Track in ICLR 2017. URL https://openr…
論文 Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations実装 An implementation of zoneout regularizer on LSTM-RNN in Tensorflow · GitHub 著者によるプレゼン動画(直接サイトに飛んでみたほうが良いかも) videolectures.net要する…
なんだか最近、当該分野でEnd-to-End系の論文が急に増えたなぁということで、忘れないうちに自分用にメモ。面白そうな論文情報も含めて。もうね、正直言ってお腹いっぱいなんですけど、流れには逆らえないですね。ほとんどarXivなので、信頼性は担保されてお…
以下のサイト。 github.com コードは最近の深層学習系パッケージなら入っているからいいとして、論文のまとめはありがたい。このリストの作者は、以下のCV系深層学習の論文関連情報のサイトもメンテしている； github.com
以下のリポジトリ。 github.com既実装は以下： Highway Networks Recurrent Highway Networks Multiplicative Integration Within RNNs Recurrent Dropout Layer Normalization Layer Normalization & Multiplicative Integration LSTM With Multiple Memory…
要するにLSTMの内部でバッチ正規化を行うということ。論文と実装は以下の通り。 Tim Cooijmans, Nicolas Ballas, César Laurent, Çağlar Gülçehre, Aaron Courville, "Recurrent Batch Normalization, " arXiv preprint, 2016. https://arxiv.org/abs/1603.0…
Project RNN Enhancement、ということらしい： github.com作者はSeq2Seqへの応用を念頭に置いているらしいが。
TensorFlow実装 github.com Chainer実装 その１ github.com その２ github.com Keras実装 その１ github.com その２（バックエンドはTheano？）github.com 番外編：WaveNetによる音声生成の高速化実装（学習ではない） Fast Wavenet: An efficient Wavenet g…
それぞれは以下の通り（ただしTensorFlow 0.12でのみ動作確認）： MGU (Minimal Gated Unit) 論文 Minimal gated unit for recurrent neural networks 実装 An implementation for MGU based on TensorFlow. · GitHub S-LSTM (Simplified LSTM) 論文 [1601.0…
以下の記事。 culurciello.github.io
ここにある。 github.comHTMLで公開されているものをPDF化している。その影響で一部数式が崩れている。 しかしこれ、著作権的にはどうなんだろうね？
2010年から引用された深層学習系の論文を集めてリストしてくれた人がいた。 github.comリストに入れる基準は，論文の出版年ごとに以下のようになっている。 2016 : +30 citations 2015 : +100 citations 2014 : +200 citations 2013 : +300 citations 2012 :…
