異常検知

PyODにコミットしたKernel PCAのコードのバグを修正した

PyODにおけるKernel PCAのコードは最近私がコミットしたものである。 ところで最近、PyODに以下のIssueが上がっていた。 github.com SUODでインスタンスを複製して使うときに、すべての引数がNoneとして与えられる現象が起きているようだ。 引数がNoneになる…

異常音検知関連の情報まとめ

異常音検知に関して、まとめてリストしておく。備忘録。 解説論文・スライド スライド 論文 ソフトウェア データセット 書籍 コンペティション 解説論文・スライド スライド 音響信号に対する異常音検知技術と応用 音響信号に対する異常音検知技術と応用 fro…

オンラインOCSVMに基づく外れ値検知をPythonで実装し、訓練時間削減の効果をベンチマークデータで検証した

はじめに scikit-learn 1.0の新機能として、OC-SVMのオンライン版が紹介されている。 scikit-learn.org オンライン化のご利益は訓練時間の大幅な削減である。 そこで本記事では、「結局オンライン化でどれくらい速くなったの?」という疑問に答えるべく、オ…

カーネルPCAに基づく外れ値検知にサブセットのサンプリング機能を実装して計算量削減を図った話

はじめに 先の記事 tam5917.hatenablog.com にてカーネルPCAに基づく外れ値検知を実装したが、計算量が多く使い物にならない。 そこで本記事では、 tam5917.hatenablog.com の記事にある、データセットのサブサンプリングを組み込むことで計算量を減らしつつ…

カーネル主成分分析による外れ値検知をPyODフォーマットで実装した

はじめに カーネル主成分分析を用いて外れ値検知ができるので、それを実装してみたということ。 カーネル主成分分析を外れ値検知に使うとは? 以下の論文にすべて書いてある(説明の手抜き!)。 Heiko Hoffmann, "Kernel PCA for novelty detection," Patte…

Random Projection Outlyingness(RPO)に基づく外れ値検知をPyODフォーマットで実装した

はじめに Random Projection Outlyingnessとはなにか? depthについて outlyingnessについて Random Projection Outlyingness (RPO) 実装 PyODのインストール RPOクラス Toy example ベンチマーク 参考文献 はじめに データ分布に対する各サンプル点の外れ度…

外れ値検知手法のベンチマークを測定するスクリプトをPyODとOptunaで書いた

はじめに 外れ値検知の代表的な手法であるkNN, LOF, OC-SVM, Isolation Forestについて、ベンチマークを測定するスクリプトを作成した。 各手法は外れ値検知ライブラリのPyODに実装されており、今回はOptunaによるハイパーパラメータ探索も入れている。 PyOD…

Rapid Distance-Based Outlier Detection via Sampling (NIPS 2013) に基づく外れ値検知手法をPyODフォーマットで実装した

はじめに "Rapid Distance-Based Outlier Detection via Sampling" という論文の中で提案された手法を、外れ値検知のためのPythonライブラリ PyOD のフォーマットに落とし込んで、手軽に使えるように実装したということ。併せてベンチマークデータを用いて性…

Pythonの異常検知用パッケージPyODの形式に従って、ガウス混合モデル(GMM)に基づく異常検知を実装した

はじめに 2021年8月22日現在、Pythonの異常検知用パッケージであるPyODにガウス混合モデル(Gaussian Mixture Model; GMM)ベースの 異常検知が実装されていなかったので、それを実装したということである。 PyODのインストール pipでインストール可能である…

DAGMMに基づく教師なし異常検知をPyTorchで実装した

はじめに 教師なし異常検知の機械学習モデルの一つとして、"Deep Autoencoding Gaussian Mixture Model" (以降DAGMM)が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したというこ…

OC-NNに基づく教師なし異常検知をPyTorchで実装した

はじめに 教師なし異常検知の機械学習モデルの一つとして、"One-Class Neural Network" (以降OC-NN)が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したということである。 異常検…

Deep SVDDに基づく外れ値検知をPyTorchで実装した

はじめに 外れ値検知の機械学習モデルの一つとして"Deep SVDD" が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したということである。 外れ値検知は1クラス分類と捉えることができ…

Pythonの異常検知パッケージPyODのフォーマットに従って、カーネル密度推定に基づく異常検知を実装した

はじめに 異常検知(外れ値検知)のための便利なPythonパッケージとしてPyODが存在する。 pyod.readthedocs.io github.com クラシックな手法から比較的最先端の手法まで実装されており、インタフェースも使いやすいのでオススメできる。 2021年8月9日現在、P…