深層学習
この論文の付録を読めば導出が書いてある arxiv.org
GroupNormを使う． nn.BatchNorm1d(out_channels) から nn.GroupNorm(1, out_channels) への置き換えでOK．GroupNormの第1引数はグループ数であり，ここを1に指定するとLayerNormと等価になる． discuss.pytorch.org
はじめに 論文の概要 応用可能性 −分布クラスタリング− 実験： Clustering Multivariate Gaussian Distributions 実験条件 データセット生成 比較手法 ネットワークアーキテクチャ および 損失関数 評価指標 その他の実験条件 補足：経験分布の構成 実験結果…
距離学習と深層距離学習の違いについて備忘録を残しておく． 共通していること データセット中の2点 $\mathbf{x}, \mathbf{y}$間の距離関数$d(\mathbf{x}, \mathbf{y})$が与えられる． 距離関数はクラス分類やクラスタリング・異常検知などのタスクで活用さ…
はじめに 本記事は前回記事の続編に相当する． 前回記事では声優統計コーパスの3話者・3感情の音声データに対してx-vector抽出器を適用し，UMAPで可視化を試みた． この可視化の実験を通じて，感情成分が分離できていない傾向が見られた．すなわち，本来は話…
はじめに 最近，日本語 x-vector 抽出器がPyPIに登録された旨がツイートされた． M1中田くんが，日本語 x-vector 抽出 (音声に含まれる話者特徴をベクトルで表現してくれるもの) を pip で入るようにしてくれました．ご活用下さい．学習済みモデルがあるので…
拡散モデルに関する備忘録として。 大量に関連リンクを集めてもそれだけで満足してしまいがちなので、この記事では少なめで。 書籍 解説論文 解説記事 解説動画 その他 実装 書籍 拡散モデル（岡野原 大輔 著） サポートページ 解説論文 [2208.11970] Unders…
はじめに AIミュージックバトル！『弁財天』が配布しているスターターキットについて、PyTorch版を作成した記事を以前書いたことがあった。 tam5917.hatenablog.com その記事の段階では、Google Colabのノートブックを用意していなかったので、今回作ってみ…
異常音検知に関して、まとめてリストしておく。備忘録。 解説論文・スライド スライド 論文 ソフトウェア データセット 書籍 コンペティション 解説論文・スライド スライド 音響信号に対する異常音検知技術と応用 音響信号に対する異常音検知技術と応用 fro…
はじめに 実装 実験 実験条件 実験結果 おわりに はじめに SNSにて、しゃをみん氏が興味深い記事をツイートされていた。 昨日書きました。「コンピューターは遂に「音の高低」を理解した」と言えるほどの大きな進歩です。【注目論文】Sinusoidal Frequency E…
はじめに スターターキットについて スターターキットが提供するモデルの概要 実装 必要なパッケージ 実装の概要 メロディ生成実験 実験条件 実験結果 実装の舞台裏やTIPS、TensorFlow版との違いなど おわりに はじめに 最近、下記のイベントが開催されるこ…
はじめに 事前準備 実装の概要 環境音合成実験 実験条件 実験結果 実装の舞台裏など おわりに はじめに 以前、Onoma-to-Waveを実装した記事を書いたことがあった： tam5917.hatenablog.com Onoma-to-Waveとはオノマトペ（文字列）を環境音（スペクトログラム…
はじめに Attention is All You Needという論文で「warmup & ステップ数の逆平方根で学習率を減衰」させる学習率スケジューリングが提案されたが、そのようなスケジューリングを手軽に行うスケジューラを書いたということである。 ソースコード from torch.o…
はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじ…
wav2pixというGANの派生モデルがある。 要するに、音声から顔画像を生成するgeneratorを持つGANである。 図1: wav2pixのネットワーク構成 qiita.com wav2pixの実装はgithub上に見つかるのだが、いかんせんpython2系で実装されておりイマイチだったので、 こ…
はじめに 2021年8月22日現在、Pythonの異常検知用パッケージであるPyODにガウス混合モデル（Gaussian Mixture Model; GMM）ベースの 異常検知が実装されていなかったので、それを実装したということである。 PyODのインストール pipでインストール可能である…
はじめに 教師なし異常検知の機械学習モデルの一つとして、"Deep Autoencoding Gaussian Mixture Model" （以降DAGMM）が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したというこ…
はじめに 教師なし異常検知の機械学習モデルの一つとして、"One-Class Neural Network" （以降OC-NN）が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したということである。 異常検…
はじめに 外れ値検知の機械学習モデルの一つとして"Deep SVDD" が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したということである。 外れ値検知は1クラス分類と捉えることができ…
深層距離学習の一つであるAdaCosはとても有効である。 PyTorch実装も利用できる。 github.com ところがこの実装には（2021/04/24時点）、使い方を間違えるとNaNが頻発する不具合がある。 forward関数内でscaleをadaptiveに更新しているのだが、学習データの…
サーベイ論文 Normalizing Flows: Introduction and Ideas (2019) URL Normalizing Flows for Probabilistic Modeling and Inference (2019) URL 代表的なもの NICE: Non-linear Independent Components Estimation (2014) URL MADE: Masked Autoencoder for…
Kingma氏が第１著者の論文を（独断と偏見で）抜き出してまとめておく。 Adam: A Method for Stochastic Optimization Auto-Encoding Variational Bayes Semi-Supervised Learning with Deep Generative Models Improved Variational Inference with Inverse …
もはや「実装した」と呼べるかどうか。既存のコードを少しいじっただけなので。 論文 [1711.06788] MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks 実装 A TensorFlow implementation of MinimalRNN. · GitHub 論文を要約…
CFN (Chaos-Free Network) 論文 A recurrent neural network without chaos 実装 An implementation of Chaos-Free Network (CFN) in TensorFlow · GitHub
はじめに 表題の通り、ICLR 2017のWorkshop Trackで発表されたMultiplicative LSTMを実装した。 論文 Ben Krause, Iain Murray, Steve Renals and Liang Lu, "Multiplicative LSTM for sequence modelling," Workshop Track in ICLR 2017. URL https://openr…
論文 Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations実装 An implementation of zoneout regularizer on LSTM-RNN in Tensorflow · GitHub 著者によるプレゼン動画(直接サイトに飛んでみたほうが良いかも) videolectures.net要する…
なんだか最近、当該分野でEnd-to-End系の論文が急に増えたなぁということで、忘れないうちに自分用にメモ。面白そうな論文情報も含めて。もうね、正直言ってお腹いっぱいなんですけど、流れには逆らえないですね。ほとんどarXivなので、信頼性は担保されてお…
以下のサイト。 github.com コードは最近の深層学習系パッケージなら入っているからいいとして、論文のまとめはありがたい。このリストの作者は、以下のCV系深層学習の論文関連情報のサイトもメンテしている； github.com
以下のリポジトリ。 github.com既実装は以下： Highway Networks Recurrent Highway Networks Multiplicative Integration Within RNNs Recurrent Dropout Layer Normalization Layer Normalization & Multiplicative Integration LSTM With Multiple Memory…
要するにLSTMの内部でバッチ正規化を行うということ。論文と実装は以下の通り。 Tim Cooijmans, Nicolas Ballas, César Laurent, Çağlar Gülçehre, Aaron Courville, "Recurrent Batch Normalization, " arXiv preprint, 2016. https://arxiv.org/abs/1603.0…
