ホップフィールドネットワーク
はじめに 以前の記事では、古典的なHopfieldモデルの記憶容量の限界を克服するため、記憶パタンを教師データと見なしてロジスティック回帰によりネットワークの重みを学習する手法を紹介した。その結果、従来のHebb則と比較して、想起性能（特にノイズ耐性）…
前回記事で紹介した論文の続編。 アトラクタの安定性が最大化される領域を発見。その起源を考察し、重み行列の「スペクトル集中」にあることを導出。 その領域において、「力」のせめぎ合いによる、自己組織化現象を確認。その場所は不安定ぽく見えるのだけ…
KLRによる学習を導入することで、記憶容量 になることを確認した（ はパターン数， はニューロン数）。 さらに、ネットワークサイズ と最適なカーネル幅 の間に明確なスケーリング則が存在することを発見した。 arxiv.org ※ 2026年4月10日追記：NOLTA誌にア…
はじめに 以前の記事にて、ロジスティック回帰とリッジ回帰の学習アルゴリズムによって、Hopfield モデルの記憶容量を改善する試みを紹介した。これらをカーネル法によって拡張することにより、さらなる容量の改善を図ったということ。 論文 現時点で論文は…
はじめに 先日公開した記事では、記憶容量改善の一つのアプローチとして、ロジスティック回帰の枠組みを導入した。そこでは、記憶パタンを {0, 1} の目標値に対応させ、各ニューロンが他のニューロンの状態から自身の状態（0 or 1）を予測する確率をモデル化…
はじめに 総ニューロン数に対して約14%を超える記憶パタンを学習させると、Hopfieldモデルはパタンを正確に記憶できなくなり、想起性能が低下する現象が知られている。このニューロン数に対する記憶パタン数の上限は「記憶容量」（あるいは単に容量）と呼ば…
YouTubeにあったので、メモ。 www.youtube.com
はじめに 前回の記事ではC言語でHopfieldモデルの想起過程を実装していた。 tam5917.hatenablog.com 当然、Pythonでも実装可能なので、その実装を紹介するのが本記事の主旨である。 実装 以下に置いた。Enjoy! hopnet_dynamics.py 実装している機能そのもの…
はじめに 甘利先生らは、ホップフィールドネットワーク（以降 Hopfieldモデル）について、想起過程のダイナミクスをかつて研究されていた [1]。 甘利先生の著書 [2] にもまた、想起過程の計算機シミュレーションの図が示されている。 先日、Hopfieldモデルを…
はじめに 前回の記事でホップフィールドネットワークのPythonを実装を書いたのだった。 tam5917.hatenablog.com プログラムを高速実行させたく、今回C言語で書き直したということ。 実装 以下に置いた。Enjoy! hopnet_1d.c · GitHub main関数における処理の…
はじめに Pythonでホップフィールドネットワークを書いた記事はいくつか見つかる [1-3]。参考記事 [1] で紹介されている実装では、2次元のビットパターン画像を記憶・想起する仕様になっている。しかし、ホップフィールドネットワークの本質的な動作原理を理…
