はじめに
以前の記事にて、ロジスティック回帰とリッジ回帰の学習アルゴリズムによって、Hopfield モデルの記憶容量を改善する試みを紹介した。これらをカーネル法によって拡張することにより、さらなる容量の改善を図ったということ。
論文
現時点で論文はプレプリントであり、査読を経ていない。カーネルリッジ回帰の方は、カーネルロジスティック回帰と比べて学習アルゴリズムが高速という点を推している。
Kernel Logistic Regression Learning for High-Capacity Hopfield Networks https://arxiv.org/abs/2504.07633
Abstract（機械翻訳）: ヘブ学習はホップフィールドネットワークの記憶容量を制限する（パターン対ニューロン比は約0.14）。そこで、カーネルロジスティック回帰（KLR）学習を提案する。線形手法とは異なり、KLRはカーネルを用いてパターンを高次元の特徴空間に暗黙的にマッピングすることで、分離性を高める。KLRは双対変数を学習することで記憶容量を劇的に向上させ、パターン数がニューロン数を上回る場合でも（図示の例では最大1.5の比率まで）完全な想起を実現し、ノイズ耐性も向上させる。KLRは、ヘブおよび線形ロジスティック回帰手法を明らかに上回る性能を示す。
- 2026/02/01 追記：IEICE letter として出版 Link
Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks https://arxiv.org/abs/2504.12561
Abstract（機械翻訳）: ヘブ学習を使用するホップフィールドネットワークは、記憶容量が限られているという問題を抱えている。線形ロジスティック回帰 (LLR) などの教師あり手法ではある程度の改善が見られるが、カーネルロジスティック回帰 (KLR) などのカーネル手法では、容量とノイズに対するロバスト性が大幅に向上する。しかし、KLR では計算コストの高い反復学習が必要である。本稿では、大容量ホップフィールドネットワークを学習するための効率的なカーネルベースの代替手法として、カーネルリッジ回帰 (KRR) を提案する。KRR はカーネルトリックを活用し、回帰によってバイポーラ状態を予測することで、双対変数を学習するための非反復的な閉形式の解を提供する。本稿では KRR を評価し、その性能をヘブ、LLR、KLR と比較する。その結果、KRR は最先端の記憶容量 (β = 1.5 に達する) と KLR に匹敵するノイズに対するロバスト性を実現することが示された。これにより、KRRは高性能連想記憶を構築するための強力かつ非常に効率的な手法として確立され、KLRと同等の性能を備えながら、大幅な学習速度の向上を実現する。本研究は、ホップフィールドネットワーク学習の文脈において、KRRとKLRを初めて実証的に比較したものである。
8/24 追記：APSIPA ASC 2025 に採録決定
おわりに
ホップフィールドネットまわりのネタがブログ記事からはじまり、こうやって論文としてまとめるところまでたどり着いたが、研究はまだまだ続く。これらと関係した、別トピックの雑誌論文のプレプリントも公開予定である。
