『今更ながらVAEって（以下略）』におけるアフィン変換に対応した潜在変数の操作により画像生成を制御できた話

深層学習 機械学習 python

はじめに

以前の記事にて、PyTorch実装の公開および定式化を示していたのだった．

VAEの潜在変数の一部をアフィン変換のパラメタとみなし、デコーダを「うまく」学習させておくことで、画像に含まれるアフィン変換的（スケール、回転、並進）な変動を正規化できるという主旨の内容だった．

いち生成モデルとして性能評価を考えた場合、アフィン変換に対応した潜在変数の明示的な操作によって、アフィン変換を制御した画像生成が可能かどうかは検証の余地があった．

そこで本記事では上記の簡易な検証実験を行い、画像生成を制御できた旨を報告するものである．実装も新たに公開する．

ちなみに生成された画像の例は図1の通りである．図の上段が-90度〜90度の回転，中段が0.5倍〜1.5倍の拡大縮小，下段が並進に対応している．

図1：潜在変数を操作して生成された一連の画像

前回実装との差分

前回までの実装では、アフィン変換は次式に示す形を取った（斉次座標）．

\begin{align*} \begin{pmatrix} 1 + \rho z_1 & \rho z_2 & \rho z_3 \\ \rho z_4 & 1 + \rho z_5 & \rho z_6 \\ 0 & 0 & 1 \end{pmatrix} \end{align*}

ただし z_1 \sim z_6 はVAEの潜在変数， \rho > 0 は適当なスケーリング値であり、実装では \rho = 0.1 としていた．しかしこれでは拡大縮小・回転・並進がいわばミックスされた状態になってしまうので、画像生成を制御する際には扱いづらい．そこで、次式のようにアフィン変換を拡大縮小・回転・並進の形で明示的に分解し、現れる5つのパラメタ s_x, s_y, \theta, t_x, t_y を潜在変数から取ってくる方式に変更した．

\begin{align*} \begin{pmatrix} s_x & 0 & 0 \\ 0 & s_y & 0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} \cos\theta & -\sin\theta & 0 \\ \sin\theta & \cos\theta & 0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} 1 & 0 & t_x \\ 0 & 1 & t_y \\ 0 & 0 & 1 \end{pmatrix} \end{align*}

s_x, s_y の正値性を確保するために，tanh のrangeを事前に制限する方式を採用した：

\begin{align*} \begin{pmatrix} s_x \\ s_y \end{pmatrix} = \begin{pmatrix} a \tanh (z_x) + b \\ a \tanh (z_y) + b \end{pmatrix} \end{align*}

ここで z_x, z_y は s_x, s_y に対応する潜在変数である．周知の通り tanh のrangeは (-1, 1) である．今回は訓練データにMNISTを想定し、大幅なスケーリングの変更は発生しないと考え、 訓練時におけるスケーリングの限界範囲を (0.8, 1.2) とすべく a = 0.2, b = 1.0 と設定した．正値性を確保するため，潜在変数に対して単純に指数関数を適用することもまた選択肢の一つではある．

実装

以下に置いた．Enjoy!

使い方

  • 訓練
$ python train_vae.py --use_affine
  • 生成
$ python experiment_vae.py --use_affine

実験

データセットはMNISTを用いた．訓練に60,000枚を使っている．

拡大縮小，回転，並進の操作範囲は以下の通りである．

  • 拡大縮小 s_x = s_y： 0.5倍 〜 1.5倍を10段階

  • 回転 \theta：-90度 〜 90度を10段階

  • 並進 t_x = t_y：-0.5 〜 0.5を10段階

拡大縮小，並進は x 座標成分と y 座標成分で値を揃えた．また並進の範囲が上記になっている理由は，座標グリッドが [-1, 1] × [-1, 1] の範囲に限定されているからである．

実験結果

experiment_vae.py を動かした結果として，記事冒頭に示した画像が得られた．他の生成例を図2に示す．図の上段が-90度〜90度の回転，中段が0.5倍〜1.5倍の拡大縮小，下段が並進に対応している．

図2：生成画像の例

生成モデルとして興味深いのは，学習データに含まれない回転角（±90度）や拡大縮小スケール（0.5倍や1.5倍）に対応した画像を生成できた点にある．以前の定式化の記事で述べた通り，アフィン変換は座標グリッドに対して適用され，変換後の座標グリッド情報と併せてデコーダに入力される．この意味でデコーダは座標グリッドで条件づけされている．訓練の過程で，潜在変数から座標グリッドの条件付けに至る関係性そのもの（アフィン変換の関数形）をデータ駆動で暗黙的に（間接的に）獲得していると考えると興味深い．潜在変数からアフィン変換を構成する操作自体をデコーダは知らないはずであり，あくまで変換済み座標グリッドの情報と残りの潜在変数しかデコーダには与えられていないのである．

おわりに

まだまだ他に実験すべきことはあるので，しばらく続く．

『Griffin–Lim Like Phase Recovery via Alternating Direction Method of Multipliers』に基づく位相復元手法をPythonで再実装した話

位相復元 信号処理 最適化 python

はじめに

2019年に（モノラル）音声の位相復元に関する以下の論文が出版されている．

Yoshiki Masuyama, Kohei Yatabe and Yasuhiro Oikawa, "Griffin–Lim Like Phase Recovery via Alternating Direction Method of Multipliers," in IEEE Signal Processing Letters, vol. 26, no. 1, pp. 184-188, Jan. 2019. https://ieeexplore.ieee.org/document/8552369

ここで「位相復元」とは，音声の振幅スペクトログラムのみが与えられた状況から，対応する位相スペクトログラムを推定する処理を指す． 筆者はかつて上記論文で提案されたアルゴリズムをPythonで実装したこともあった．

しかしながら，現時点から実装を見返すと，下記が不満である．

  • 型ヒントがなく，可読性・保守性に欠ける

  • 実装における変数名と論文に掲載されているアルゴリズムとの対応が取りづらい

  • グローバル変数がある

  • docstringに乏しい（コメントはあるが）

そこで上記の欠点を克服すべく，実装を新たにしたということ．

実装

以下に置いた．Enjoy!

numpy, librosa, soundfile, pystoiは問題なくインストールできると思われる． pesqに関してはこちらのライブラリを使った．

github.com

インストールは以下の通り．

$ pip install https://github.com/ludlows/python-pesq/archive/master.zip

もしインストールに失敗するようならば，下記の記事を参考に， python3.10-dev や python3.12-dev などをあらかじめ入れておくと幸せになれるかもしれない． もっとも，これらpystoiやpesqはアルゴリズムの実装の外側の話（音質の客観評価指標の計算）なので，位相復元のアルゴリズムを動かすだけならば必要ないのだが．

実行

スクリプトをadmm_gla.py として保存・実行したときの例を示す．

  • ステップ数 32
$ python admm_gla.py --n_steps 32
ESTOI = 0.993027, PESQ = 4.038094


  • ステップ数 64
$ python admm_gla.py --n_steps 64
ESTOI = 0.992619, PESQ = 4.031732


  • ステップ数 128
$ python admm_gla.py --n_steps 128
ESTOI = 0.995122, PESQ = 4.234766


  • ステップ数 256
$ python admm_gla.py --n_steps 256
ESTOI = 0.996280, PESQ = 4.376421

おわりに

やはり型ヒントはつけておいたほうが良いのでは，というのが個人的な見解である． そして公開するコードにはtype checkerやlinter，formatterをあらかじめ通しておくポリシーは今後も継続したい．

ちなみにPython環境はこんな感じ：

  • language server: basedpyright

  • type checker: mypy

  • linter: ruff, pylint

  • formatter: ruff

エディタはもちろんEmacs．運用としてエディタ上でbasedpyrightとruffを動かし，コードをコミットする前にターミナル上でpylintやmypyの静的チェックをかける，という方針をとっている．

iPALM-based mel-spectrogram inversionを活用してMFCCからの音声復元を試してみた

信号処理 python 最適化

はじめに

前回記事の続きである．

tam5917.hatenablog.com

ところでlibrosa には mfcc_to_audio という関数が用意されている．

librosa.org

この関数はMFCC（音声認識では定番の特徴量）を音声に復元する機能を実装している．処理の具体的な中身は

  1. mfcc_to_mel (逆DCT→dBスケールからメルスケールへの変換)

  2. mel_to_audio

という2つの処理の連結であるから，mel_to_audio の部分を前回記事のiPALM-basedの復元手法やADMM-basedの復元手法に置き換えれば，音質向上が期待できる．

本記事では iPALM-basedの復元手法と mfcc_to_audio を比較し，その結果を報告するものである．

実装

以下に置いた．Enjoy!

前回記事で紹介した実装からの差分は，入力特徴量がMFCCとなることに伴った関数の引数の調整が主である． 参考までに mfcc_to_audio のデモストレーションスクリプトは以下の通り．

実験条件

実験の設定は以下の通り．ちなみに使用した音声は16kHzサンプリングの1発話音声である（『青い植木鉢』）．

項目 設定
メルスペクトログラムの次数 128
MFCCの次数 16から128まで16刻み
FFTの窓長 1024
フレーム長 1024
ホップ長 256
分析窓 Hann窓
最適化のステップ数 500
iPALM ハイパパラメタ λ 10
iPALM ハイパパラメタ α 0.9

メルスペクトログラムの次数は128に設定した．これは mfcc_to_mel を実行するうえでターゲットとなるメル次数を設定する必要があったためで，メルスペクトログラムを活用する他のタスクでも標準的（むしろ，やや大きめ）な次数の設定である．

MFCCの抽出に際して，音声認識系タスクでは事前に音声データに対してプリエンファシスフィルタをかけるのが一般的だが，今回は認識が目的ではなく復元の様子を観察することが目的なので，当該フィルタ処理を省略した．

MFCCの次数は16から128まで16刻みで変えて実験した．MFCCでは通常128ほど次数を大きく設定することはない．MFCC自体がスペクトル包絡情報（= 対数パワースペクトルに対する低次のケプストラム成分）の取得を目的としたものであるから，大きな次数での分析・抽出はあまり行われない．13次元や20次元に設定する例をよく見かける．本実験では次数を上限の128まで順に大きくすることで，音質の変化を観察する目的があった．

MFCCの各次数ごとに10回試行して客観的評価指標（PESQ，ESTOI）のスコアを取得した．繰り返し試行したのは初期値のランダム性に伴ってスコアがブレるためである．

実験結果

PESQとESTOIの箱ひげ図を，図1と図2にそれぞれ示す．

図1：PESQ

図2：ESTOI

まず，いずれの次数においてもiPALM-basedの手法は mfcc_to_audio の音質を概ね上回っていることが確認できる． 次数16と32では音質の劣化が著しいことが見て取れるが，元のスペクトログラムからそれだけ情報を大幅に削っていると理解できる．次数48付近から音質が向上しはじめ，次数80付近で一旦サチる傾向が見られた．次数128では最も音質が良いが，これはメルスペクトログラムとMFCCの間で情報がほぼ落ちていないと解釈できる．

MFCCの各次数における具体的な復元音声の音質は読者も気になるところだと思うので，それら音声を試聴できるように準備した．いずれもiPALM-basedの手法で得られた復元音声である．次数16や32であっても，『青い植木鉢』は何とか聞き取れるのではなかろうか．認識系タスクでよく用いられる次数の小さいMFCCにも，発話内容がかろうじて聞き取れる程度の情報が少なくとも残っていると実感できる．

種類 音声
元音声
次数 16
次数 32
次数 48
次数 64
次数 80
次数 96
次数 112
次数 128

MFCCを逆変換する関連研究

MFCC系列の逆変換に基づいて振幅スペクトルや音声波形を復元する先行研究を探すと，例えば以下の論文が見つかる．

前者は音声強調への応用研究，後者は音声波形合成への応用研究である．後者の論文では，STFT振幅スペクトル（と称するスペクトル包絡） \boldsymbol{S} は次式で復元できる旨が簡潔に述べられている：

\displaystyle \hat{\boldsymbol{S}} = \boldsymbol{M}^{+} \exp(\boldsymbol{D}^{+} \boldsymbol{C})

ここで \boldsymbol{M} はメルフィルタバンク行列， \boldsymbol{D} はtruncated な DCT行列（低次ケプストラムを取る都合上、高次ケプストラム帯の係数を落としたもの）， \boldsymbol{C} はMFCC系列であり， +の記号は疑似逆行列の演算を意味する．mfcc_to_mel は上式の exp 演算までで止めたものに対応している．メルフィルタバンク行列の疑似逆行列をかけて周波数軸のスケールをリニアスケールにまで戻してしまったら，もはやメルスペクトログラムのinversionは適用できない．

おわりに

iPALM-basedの復元手法を使えば音質が改善されるのは最初から分かっていたわけだが，ひとつのリファレンスとして記事を残しておこうと考えたのだった．MFCCからのinversionもまた面白い研究トピックなので，引き続き調査したい．

iPALM-based mel-spectrogram inversion (ICASSP 2023) をPythonで実装しメルスペクトログラムからの音声復元を試してみた

信号処理 python 最適化

はじめに

前回記事の続きである。

tam5917.hatenablog.com

その記事では以下の論文で提案されたアルゴリズムを実装していた。

この論文の中で、iPALM-based mel-spectrogram inversion というメルスペクトログラムからの音声復元アルゴリズムが比較対象として掲載されていた。ちなみにそのアルゴリズム自体は以下の論文が初出である：

せっかくなのでiPALM-basedな手法もPythonで実装しようというわけである。

実装

以下に置いた．Enjoy!

demo_ipalm_inversion.py

実験条件は下表の通りである．使用した音声は16kHzサンプリングの1発話音声である（『青い植木鉢』）．

項目 設定
メルスペクトログラムの次数 80
FFTの窓長 1024
フレーム長 1024
ホップ長 256
分析窓 Hann窓
最適化のステップ数 500
iPALM ハイパパラメタ λ 10
iPALM ハイパパラメタ α 0.9

実験結果

元音声と復元後の音声をそれぞれ示す．iPALMが提案手法である．参考までに前記事のADMM法とlibrosaの mel_to_audio による復元音声を載せた．iPALM法もADMM法と同様，mel_to_audio よりもクリアな復元音声になっていることが分かる．iPALM法と前回のADMM法を比較すると、聴いた印象で大きな違いは感じられなかった．

種類 音声
元音声
復元音声 (iPALM)
復元音声 (ADMM)
復元音声 (librosa)

ちなみに復元音声（iPALM）の客観評価指標は以下の通りとなった：

  • PESQ = 3.5777
  • ESTOI = 0.9752
  • SCM [dB] = -30.72

SCMに関してはADMM法と比べてやや大きめのスコアが出た．ちなみに同じ音声を対象に何回か復元を試してみたが，初期化の影響を受けて多少スコアは変動することが分かっている（平均 ± 標準偏差を書かなかったのはサボり）．

おわりに

日本語話者データセットを対象とした規模の大きな検証実験は後の記事にて．ADMMとiPALM周辺の勉強もしっかりと進めたい．

『Mel-Spectrogram Inversion via Alternating Direction Method of Multipliers』に基づくメルスペクトログラムからの音声復元手法をPythonで実装してみた

信号処理 python 最適化

はじめに

最近，以下の論文がarXivで見つかった：

Yoshiki Masuyama, Natsuki Ueno, and Nobutaka Ono, "Mel-Spectrogram Inversion via Alternating Direction Method of Multipliers, " arXiv:2501.05557, 2025

arxiv.org

メルスペクトログラムから元の音声を復元する手法である．メルスペクトログラムはSTFTスペクトログラム自体がメルフィルタバンクを通して圧縮されたものなので，元の音声に戻すにはひと工夫が必要となる．

上記の論文にはアルゴリズムがとてもクリアに書かれているので，本記事では簡単なデモンストレーションを実装したので紹介する，ということ．

ちなみに音声情報処理系のライブラリlibrosaには mel_to_audio が実装されている．これはメルスペクトログラムに対して二乗誤差最小化の意味で最適な STFTスペクトログラムを求め，Griffin-Lim アルゴリズムにより位相復元することで音声へと戻す実装である．音質はそれほど高くない．それぐらい復元は難しい問題ということである．

元論文のデモ音声は以下から視聴できる：

yoshikimas.github.io

実装

以下に置いた．Enjoy!

mel_to_audioのデモストレーションスクリプトは以下に置いてある．

実験条件は下表の通りである．使用した音声は16kHzサンプリングの1発話音声である（『青い植木鉢』）．

項目 設定
メルスペクトログラムの次数 80
FFTの窓長 1024
フレーム長 1024
ホップ長 256
分析窓 Hann窓
最適化のステップ数 500
ADMM ハイパパラメタ λ 5000
ADMM ハイパパラメタ ρ 0.1

実験結果

元音声と復元後の音声をそれぞれ示す．ADMMが提案手法である．参考までにlibrosaのmel_to_audioによる復元音声を載せた．mel_to_audio よりもクリアな復元音声になっていることが分かる．

種類 音声
元音声
復元音声 (ADMM)
復元音声 (librosa)

ちなみに復元音声（ADMM）の客観評価指標は以下の通りとなった：

  • PESQ = 3.8405
  • ESTOI = 0.9824
  • SCM [dB] = -45.59

おわりに

アルゴリズムがきれいに書かれており，良い論文だなぁという印象を持った．多数の日本語音声サンプルを対象にした評価と検証はまた後ほど．

日本語x-vector抽出器により声優統計コーパスからx-vectorを抽出してPaCMAPで可視化した話

はじめに

次元削減の新たな手法として，PaCMAPの存在を知った．

github.com

以前の記事にて，声優統計コーパスを対象に，次元削減手法の1つであるUMAPを使ってxvectorの可視化を試みた．

tam5917.hatenablog.com

今回はPaCMAPで同様の可視化を試みたので，その結果を示す．

実装

以下のリポジトリに置いてある．

github.com

  • plot_pacmap.py ... xvectorを話者ごとに可視化

  • plot_pacmap_all.py ... 全話者のxvectorを可視化

可視化例

図1に声優統計コーパス3話者から抽出したx-vectorを可視化した例を示す．3話者とは「fujitou, tsuchiya, umemura」の3名である．

図1. PaCMAPによるx-vectorの可視化（声優統計コーパス3話者）

参考まで，図2にUMAPにより可視化した例を示す（n_neighbors=10）．

図2. UMAPによるx-vectorの可視化（声優統計コーパス3話者）

PaCMAPのfit時のパラメータは全てdefault値である．ちなみにPaCMAPのn_neighborsはデフォルト値が10であり，UMAPのn_neighbors値はそれを受けて揃えてみた．

上図を見比べると，PaCMAPもきれいにクラスタに分かれているが，UMAPのときと比べて一部のクラスタで形状が細長く伸びているのが興味深い．3話者の「happy」クラスタが近接する（ように見える）可視化が得られたのもまた興味深い．これらはUMAPにはなかった特徴である．もっとも次元削減した空間における見かけの距離に，どれほどの意味があるかは分からない．今後，デフォルト値からパラメタを変えて可視化の様子を観察する楽しみもあるだろう．

ちなみに体感ではあるがPaCMAPのほうがfitにかかる時間が短い（高速）．

おわりに

これからは次元削減・可視化のツールとしてPaCMAPも使っていきたい．

『今更ながらVAEって（以下略）』の有効性を評価するための実験計画について

深層学習

はじめに

『今更ながらVAEって（以下略）』に関する記事を先日から書いていた．いち手法（いち生成モデル）としての「有効性」をきちんと検証したい場合，以下の観点で実験的評価を行えば良いのではないか．

  • 生成画像の幾何学的な変動が、潜在空間上で意図通りに制御できるか

  • 潜在空間において、幾何学的な変動とそれ以外の変動が、分離して表現されているか

  • 生成された画像が、高品質で多様なものか

  • 画像分類タスクにおいて、ロバストな特徴量を抽出できるか

これらを考慮しながら適切な実験を計画を進めればよかろうかと．

実験設計

実験1: 幾何学的変動の制御の検証 (MNISTデータセット)

目的

提案手法が、VAEの潜在空間上で、画像の幾何学的変動（回転、スケール、平行移動）を制御できることを定量的に検証する。

手順

1 学習:

  • MNISTデータセットを用いて、提案するアフィン変換を組み込んだVAEを学習する。
  • ハイパーパラメータは、適切な値を探索する。

2 潜在空間の操作:

  • 学習済みのVAEを用いて、ランダムな潜在ベクトルを生成し、それをベースとして、アフィン変換パラメータに対応する潜在変数を、以下の手順で操作する。

    • 回転: 回転に対応する潜在変数を、マイナス90度からプラス90度まで段階的に変化させる（例えば、10度刻み）。

    • スケール: スケールに対応する潜在変数を、0.5倍から2倍まで段階的に変化させる（例えば、0.1倍刻み）。

    • 平行移動: 平行移動に対応する潜在変数を、画像の幅と高さの1/4の範囲で段階的に変化させる（例えば、ピクセル単位）。

  • 操作された潜在ベクトルを用いて、画像を生成し、生成画像の幾何学的な変動を評価する。

3 評価:

  • 生成された画像の回転角、スケール、平行移動量を定量的に測定する。

    • 例えば、画像中の数字の傾きを検出し、その角度を回転角として測定する。

  • 生成された画像のバウンディングボックスのサイズを測定し、スケールを算出する。

  • バウンディングボックスの中心位置を測定し、平行移動量を算出する。

  • 潜在変数の操作量と、画像の幾何学的な変動量の間の相関関係を分析する。

  • 生成された画像を、潜在変数の操作量ごとに並べて表示し、可視化する。

期待される結果

  • 回転、スケール、平行移動に対応する潜在変数を操作することで、生成画像の幾何学的な変動が、意図した通りに変化すること。

  • 潜在変数の操作量と、画像の幾何学的な変動量の間に、高い相関関係が見られること。

  • 生成された画像が、自然で滑らかな変動を示すこと。

実験2: アフィン変換の有無による比較 (MNISTデータセット)

目的

アフィン変換を有効にした場合と無効にした場合で、生成される画像の多様性と品質を比較する。

手順

1 学習:

  • MNISTデータセットを用いて、提案するアフィン変換を組み込んだVAEを、アフィン変換を有効にした場合と無効にした場合の2パターンで学習する。

  • ハイパーパラメータは、適切な値を探索する。

2 画像生成:

  • 学習したそれぞれのモデルを用いて、同じ数の画像をランダムに生成する。

3 評価:

  • 生成された画像の品質を評価するために、FID (Fréchet Inception Distance) スコアなどの指標を計算する。

  • 生成された画像の多様性を評価するために、カバレッジ（生成された画像の空間をどの程度網羅しているか）や、生成された画像の分布の分散を計算する。

  • 生成された画像を、アフィン変換の有無によって比較し、可視化する。

期待される結果

  • アフィン変換を有効にした場合、生成される画像の多様性が向上すること（同じ数字でも、位置や向きが異なるなど）。

  • 生成される画像の品質は、アフィン変換の有無によって大きく変わらないこと。

実験3: 潜在空間のdisentanglementの評価 (MNISTデータセット)

目的

提案手法が、VAEの潜在空間において、幾何学的な変動とそれ以外の変動を分離して表現できることを検証する。

手順

1 学習:

  • MNISTデータセットを用いて、提案するアフィン変換を組み込んだVAEを学習する。

  • ハイパーパラメータは、適切な値を探索する。

2 潜在空間の可視化:

  • 学習済みのVAEのエンコーダを用いて、MNISTデータセットの画像を潜在空間にマッピングする。

  • UMAPなどの次元削減手法を用いて、潜在空間を2次元または3次元に可視化する。

  • 色分けやラベル付けを行い、クラス（数字の種類）ごとに潜在空間がどのように分布しているかを確認する。

3 介入実験:

  • 学習済みのVAEを用いて、ランダムな潜在ベクトルを生成し、それをベースとして、以下の介入実験を行う。

    • アフィン変換パラメータの操作: アフィン変換パラメータに対応する潜在変数のみを操作し、生成画像の幾何学的な変動だけが変化するかどうかを確認する。

    • その他の潜在変数の操作: アフィン変換パラメータ以外の潜在変数のみを操作し、生成画像の幾何学的な変動は変化せず、数字の種類や太さなどの特徴が変化するかどうかを確認する。

4 評価:

  • 潜在空間の可視化結果から、アフィン変換パラメータに対応する部分と、それ以外の部分が分離しているかどうかを評価する。

  • 介入実験において、生成画像の変動が、操作した潜在変数にのみ対応しているかどうかを評価する。

  • 必要であれば、disentanglementの定量的な評価指標（Modularity, Mutual Information Gapなど）を計算する。

期待される結果

  • 潜在空間の可視化において、アフィン変換パラメータに対応する部分と、それ以外の部分が、異なる領域に分離して分布していること。

  • 介入実験において、操作した潜在変数に対応する変動だけが生成画像に現れること。

  • 定量的な評価指標において、高いdisentanglementスコアが得られること。

実験4: 画像分類タスクへの応用 (MNISTデータセット)

目的

提案手法で学習したVAEのエンコーダから抽出される特徴量が、画像分類タスクにおいて、幾何学的な変動に対してロバストな表現を獲得できるかどうかを検証する。

手順

1. VAEの学習:

  • MNISTデータセットを用いて、提案するアフィン変換を組み込んだVAEを学習する。

  • ハイパーパラメータは、適切な値を探索する。

2. 特徴量抽出:

  • 学習済みのVAEのエンコーダを用いて、MNISTデータセットの画像から特徴量を抽出する。

  • このとき、潜在空間の平均ベクトル（μ）や、潜在ベクトルそのものを特徴量として利用する。

3. 分類器の学習:

  • 抽出された特徴量を用いて、画像分類器を学習する

  • 分類器としては、ロジスティック回帰やサポートベクターマシン（SVM）など、シンプルなモデルから始める。

4. 分類精度評価:

  • テストデータを用いて、学習した分類器の分類精度を評価する。

  • 学習データに含まれる画像の幾何学的な変動（回転、スケール、平行移動）を、テストデータには含めない場合と、含める場合の両方で評価を行う。

  • 学習データに含まれていない幾何学的な変動が、モデルの分類精度に影響するかどうかを確認する。

5. アフィン変換パラメータの活用:

  • VAEのエンコーダから抽出された特徴量に加えて、アフィン変換パラメータを特徴量として利用し、分類器を学習する。

  • この実験を通して、アフィン変換パラメータが、分類タスクにおいて有用な情報を保持しているかどうかを検証する。

期待される結果

  • VAEで抽出した特徴量を用いて学習した分類器は、学習データに含まれない幾何学的な変動に対して、高いロバスト性を持つこと。

  • アフィン変換パラメータを特徴量に加えることで、分類精度が向上すること。

具体的な検証内容

  • アフィン変換を適用しない場合:

    • 標準的なVAEで学習した特徴量を分類器の学習に用いた場合、テストデータに幾何学的な変動が含まれると、分類精度が低下することが予想される。

  • アフィン変換を適用した場合:

    • 提案手法で学習したVAEで抽出した特徴量を用いると、幾何学的な変動が含まれるテストデータに対しても、分類精度を維持できることが期待される。

  • アフィン変換パラメータの活用:

    • アフィン変換パラメータを特徴量に加えることで、分類器が、画像の幾何学的な特徴をより捉えやすくなり、分類精度が向上することが期待される。
    • この実験では、アフィン変換パラメータのどの部分が分類に有効であるか（例えば、回転角だけが重要か、スケールも重要か）を分析する。

評価指標

  • 分類精度 (Accuracy): 分類が正解した割合

  • 適合率 (Precision): 正と予測したデータのうち、実際に正である割合

  • 再現率 (Recall): 実際に正であるデータのうち、正と予測できた割合

  • F1スコア (F1-score): 適合率と再現率の調和平均

おわりに

実験計画という大げさな表題となったけども，今後のブログネタのロードマップ程度に認識してもらえれば幸い．