はじめに
『今更ながらVAEって（以下略）』に関する記事を先日から書いていた．いち手法（いち生成モデル）としての「有効性」をきちんと検証したい場合，以下の観点で実験的評価を行えば良いのではないか．
生成画像の幾何学的な変動が、潜在空間上で意図通りに制御できるか
潜在空間において、幾何学的な変動とそれ以外の変動が、分離して表現されているか
生成された画像が、高品質で多様なものか
画像分類タスクにおいて、ロバストな特徴量を抽出できるか
これらを考慮しながら適切な実験を計画を進めればよかろうかと．
実験設計
実験1: 幾何学的変動の制御の検証 (MNISTデータセット)
目的
提案手法が、VAEの潜在空間上で、画像の幾何学的変動（回転、スケール、平行移動）を制御できることを定量的に検証する。
手順
1 学習:
- MNISTデータセットを用いて、提案するアフィン変換を組み込んだVAEを学習する。
- ハイパーパラメータは、適切な値を探索する。
2 潜在空間の操作:
学習済みのVAEを用いて、ランダムな潜在ベクトルを生成し、それをベースとして、アフィン変換パラメータに対応する潜在変数を、以下の手順で操作する。
回転: 回転に対応する潜在変数を、マイナス90度からプラス90度まで段階的に変化させる（例えば、10度刻み）。
スケール: スケールに対応する潜在変数を、0.5倍から2倍まで段階的に変化させる（例えば、0.1倍刻み）。
平行移動: 平行移動に対応する潜在変数を、画像の幅と高さの1/4の範囲で段階的に変化させる（例えば、ピクセル単位）。
操作された潜在ベクトルを用いて、画像を生成し、生成画像の幾何学的な変動を評価する。
3 評価:
生成された画像の回転角、スケール、平行移動量を定量的に測定する。
- 例えば、画像中の数字の傾きを検出し、その角度を回転角として測定する。
生成された画像のバウンディングボックスのサイズを測定し、スケールを算出する。
バウンディングボックスの中心位置を測定し、平行移動量を算出する。
潜在変数の操作量と、画像の幾何学的な変動量の間の相関関係を分析する。
生成された画像を、潜在変数の操作量ごとに並べて表示し、可視化する。
期待される結果
回転、スケール、平行移動に対応する潜在変数を操作することで、生成画像の幾何学的な変動が、意図した通りに変化すること。
潜在変数の操作量と、画像の幾何学的な変動量の間に、高い相関関係が見られること。
生成された画像が、自然で滑らかな変動を示すこと。
実験2: アフィン変換の有無による比較 (MNISTデータセット)
目的
アフィン変換を有効にした場合と無効にした場合で、生成される画像の多様性と品質を比較する。
手順
1 学習:
MNISTデータセットを用いて、提案するアフィン変換を組み込んだVAEを、アフィン変換を有効にした場合と無効にした場合の2パターンで学習する。
ハイパーパラメータは、適切な値を探索する。
2 画像生成:
- 学習したそれぞれのモデルを用いて、同じ数の画像をランダムに生成する。
3 評価:
生成された画像の品質を評価するために、FID (Fréchet Inception Distance) スコアなどの指標を計算する。
生成された画像の多様性を評価するために、カバレッジ（生成された画像の空間をどの程度網羅しているか）や、生成された画像の分布の分散を計算する。
生成された画像を、アフィン変換の有無によって比較し、可視化する。
期待される結果
アフィン変換を有効にした場合、生成される画像の多様性が向上すること（同じ数字でも、位置や向きが異なるなど）。
生成される画像の品質は、アフィン変換の有無によって大きく変わらないこと。
実験3: 潜在空間のdisentanglementの評価 (MNISTデータセット)
目的
提案手法が、VAEの潜在空間において、幾何学的な変動とそれ以外の変動を分離して表現できることを検証する。
手順
1 学習:
MNISTデータセットを用いて、提案するアフィン変換を組み込んだVAEを学習する。
ハイパーパラメータは、適切な値を探索する。
2 潜在空間の可視化:
UMAPなどの次元削減手法を用いて、潜在空間を2次元または3次元に可視化する。
色分けやラベル付けを行い、クラス（数字の種類）ごとに潜在空間がどのように分布しているかを確認する。
3 介入実験:
学習済みのVAEを用いて、ランダムな潜在ベクトルを生成し、それをベースとして、以下の介入実験を行う。
4 評価:
潜在空間の可視化結果から、アフィン変換パラメータに対応する部分と、それ以外の部分が分離しているかどうかを評価する。
介入実験において、生成画像の変動が、操作した潜在変数にのみ対応しているかどうかを評価する。
必要であれば、disentanglementの定量的な評価指標（Modularity, Mutual Information Gapなど）を計算する。
期待される結果
潜在空間の可視化において、アフィン変換パラメータに対応する部分と、それ以外の部分が、異なる領域に分離して分布していること。
介入実験において、操作した潜在変数に対応する変動だけが生成画像に現れること。
定量的な評価指標において、高いdisentanglementスコアが得られること。
実験4: 画像分類タスクへの応用 (MNISTデータセット)
目的
提案手法で学習したVAEのエンコーダから抽出される特徴量が、画像分類タスクにおいて、幾何学的な変動に対してロバストな表現を獲得できるかどうかを検証する。
手順
1. VAEの学習:
MNISTデータセットを用いて、提案するアフィン変換を組み込んだVAEを学習する。
ハイパーパラメータは、適切な値を探索する。
2. 特徴量抽出:
学習済みのVAEのエンコーダを用いて、MNISTデータセットの画像から特徴量を抽出する。
このとき、潜在空間の平均ベクトル（μ）や、潜在ベクトルそのものを特徴量として利用する。
3. 分類器の学習:
抽出された特徴量を用いて、画像分類器を学習する
分類器としては、ロジスティック回帰やサポートベクターマシン（SVM）など、シンプルなモデルから始める。
4. 分類精度評価:
テストデータを用いて、学習した分類器の分類精度を評価する。
学習データに含まれる画像の幾何学的な変動（回転、スケール、平行移動）を、テストデータには含めない場合と、含める場合の両方で評価を行う。
学習データに含まれていない幾何学的な変動が、モデルの分類精度に影響するかどうかを確認する。
5. アフィン変換パラメータの活用:
VAEのエンコーダから抽出された特徴量に加えて、アフィン変換パラメータを特徴量として利用し、分類器を学習する。
この実験を通して、アフィン変換パラメータが、分類タスクにおいて有用な情報を保持しているかどうかを検証する。
期待される結果
具体的な検証内容
アフィン変換を適用しない場合:
- 標準的なVAEで学習した特徴量を分類器の学習に用いた場合、テストデータに幾何学的な変動が含まれると、分類精度が低下することが予想される。
アフィン変換を適用した場合:
- 提案手法で学習したVAEで抽出した特徴量を用いると、幾何学的な変動が含まれるテストデータに対しても、分類精度を維持できることが期待される。
アフィン変換パラメータの活用:
- アフィン変換パラメータを特徴量に加えることで、分類器が、画像の幾何学的な特徴をより捉えやすくなり、分類精度が向上することが期待される。
- この実験では、アフィン変換パラメータのどの部分が分類に有効であるか（例えば、回転角だけが重要か、スケールも重要か）を分析する。
評価指標
分類精度 (Accuracy): 分類が正解した割合
適合率 (Precision): 正と予測したデータのうち、実際に正である割合
再現率 (Recall): 実際に正であるデータのうち、正と予測できた割合
F1スコア (F1-score): 適合率と再現率の調和平均
おわりに
実験計画という大げさな表題となったけども，今後のブログネタのロードマップ程度に認識してもらえれば幸い．
