python

Conv1d の後段にBatchNorm1dではなくLayerNormを置きたいとき

GroupNormを使う. nn.BatchNorm1d(out_channels) から nn.GroupNorm(1, out_channels) への置き換えでOK.GroupNormの第1引数はグループ数であり,ここを1に指定するとLayerNormと等価になる. discuss.pytorch.org

音響(音声・音楽含む)分野のビギナー向けテキストやフリーソフトなどをまとめてみた

はじめに 読み物 広く浅く、やさしく学びたい 「音」関連のプログラミングに触れてみたい 一冊持っておくと重宝するかも ディープラーニング 信号処理 作曲に入門したい人 フリーソフト そのほか おわりに はじめに 音響分野のビギナー(学部生)が自習する…

音声パワーと基本周波数をリアルタイムでモニタリングするスクリプトをPythonで書いた話

はじめに 実装 おわりに おまけ はじめに 「音」の勉強を始めたビギナーにとっては、 そもそも音響関係のPythonモジュールを使ったプログラミングの経験も少ないだろうと思われる。 本記事はそのようなビギナー向けにプログラムの実例をひとつ提供するもので…

pesqパッケージのインストールにコケたときの話(Ubuntu 22.04)

音質を客観評価する際の指標の1つにPESQ(Perceptual Evaluation of Speech Quality)がある. Pythonで実装した方がいた. github.com 当方の環境はUbuntu 22.04.3 LTS (Jammy Jellyfish) であり,Pythonのバージョンは3.10.2である. pip経由のインストー…

PyODのバグフィックスをした

外れ値検知のためのPythonライブラリPyODがある。 最近、Kernel PCAにバグを見つけたので、修正のプルリクを出していたが、 無事にマージされた。 github.com

TensorFlow HubのSPICEを使ってメロディ推定するPythonスクリプトを書いた

表題の通り。 スクリプトではm4aを読み込むようにしているが、wavやmp3でもいけると思われる。 detect_melody_demo.py · GitHub

『Kernel Random Projection Depth for Outlier Detection』をPythonで実装した話

はじめに KRPDの中身 実験および実装 データセット 実装 実験結果 おわりに おまけ はじめに 最近,下記の論文がアップロードされていた. 『Kernel Random Projection Depth for Outlier Detection』 arxiv.org Pythonによる簡単なデモンストレーションを実…

"Differential Entropic Clustering of Multivariate Gaussians"をNumbaを使って高速化してみた話

はじめに 前回記事で実装した Differential Entropic Clustering をもう少し高速化したいなぁ,という話. tam5917.hatenablog.com 実装 やり方は簡単で,numbaをインストールして,@jit デコレータをBurg matrix divergence およびMahalanobis距離を計算す…

Differential Entropic Clustering of Multivariate Gaussians (NIPS 2006) をPythonで実装した

論文はこれ. proceedings.neurips.cc 多変量ガウス分布の平均と共分散行列の集合が与えられたときに,分布を単位として(=対応する平均と共分散をペアにして)クラスタリングするアルゴリズムが提案されている. 行列の距離を測るための"Burg matrix diver…

日本語x-vector抽出器により声優統計コーパスからx-vectorを抽出してUMAPで可視化した話

はじめに 最近,日本語 x-vector 抽出器がPyPIに登録された旨がツイートされた. M1中田くんが,日本語 x-vector 抽出 (音声に含まれる話者特徴をベクトルで表現してくれるもの) を pip で入るようにしてくれました.ご活用下さい.学習済みモデルがあるので…

Generalized Mahalanobis depth in the reproducing kernel Hilbert spaceをPythonで実装した話

はじめに 2011年に以下の論文が出版されている. Yonggang Hu, Yong Wang, Yi Wu, Qiang Li & Chenping Hou, "Generalized Mahalanobis depth in the reproducing kernel Hilbert space," Statistical Papers volume 52, pages 511-522 (2011). link.springe…

Kernel k-meansのコードを整理した

Mathieu Blondel氏によるKernel k-meansのPythonコードがあった。 Kernel K-means. · GitHub 上記のコードはPython 2系で書かれていたので、Python 3系で動くように整理した。 Kernel K-means. · GitHub 簡単なデモンストレーションを行うnotebookは以下の通…

PyODにコミットしたKernel PCAのコードのバグを修正した

PyODにおけるKernel PCAのコードは最近私がコミットしたものである。 ところで最近、PyODに以下のIssueが上がっていた。 github.com SUODでインスタンスを複製して使うときに、すべての引数がNoneとして与えられる現象が起きているようだ。 引数がNoneになる…

AIミュージックバトル!『弁財天』スターターキットのPyTorch版Google Colabノートブックを作った話

はじめに AIミュージックバトル!『弁財天』が配布しているスターターキットについて、PyTorch版を作成した記事を以前書いたことがあった。 tam5917.hatenablog.com その記事の段階では、Google Colabのノートブックを用意していなかったので、今回作ってみ…

Pythonによる並列処理の書き方(joblib および concurrent.futures)

joblibとconcurrent.futuresを使った並列処理の実現方法についてそれぞれメモを残しておく。Pythonによる並列処理の関連記事はいくらでも見つかるのだが、個人的な備忘録ということで。 想定している状況:処理対象となるファイル数が多いので、直列で処理を…

VOSKによるストリーミング音声認識の使い勝手を改善した話

はじめに 改善のヒント ソースコードと動かし方 特徴 おわりに はじめに Pythonで音声認識を実行するためのツールとして、最近はVOSKが少しずつ使われるようになってきた。その大きなメリットのひとつはオフラインで動作するという点である。 インストールも…

AIミュージックバトル!『弁財天』のスターターキットをPyTorchに移植してアドリブメロディの自動生成を試してみた

はじめに スターターキットについて スターターキットが提供するモデルの概要 実装 必要なパッケージ 実装の概要 メロディ生成実験 実験条件 実験結果 実装の舞台裏やTIPS、TensorFlow版との違いなど おわりに はじめに 最近、下記のイベントが開催されるこ…

Transformerを用いてオノマトペから環境音を合成する手法をPyTorchで実装した(Transformer版 Onoma-to-Wave)

はじめに 事前準備 実装の概要 環境音合成実験 実験条件 実験結果 実装の舞台裏など おわりに はじめに 以前、Onoma-to-Waveを実装した記事を書いたことがあった: tam5917.hatenablog.com Onoma-to-Waveとはオノマトペ(文字列)を環境音(スペクトログラム…

Pythonによる日本語チャットボットの構築 in 2022 〜ChatterBotインストール編〜

はじめに Pythonでチャットボットを作りたくなった。 ChatterBotが便利に使えそうだということで、インストールログを残しておく。 動作環境 Python3.9.13 macOS BigSur 11.6 インストール まず仮想環境を準備する。 python3 -m venv chatbot chatbotディレ…

Transformerの学習率を調整するSchedulerクラスをPyTorchで書いた

はじめに Attention is All You Needという論文で「warmup & ステップ数の逆平方根で学習率を減衰」させる学習率スケジューリングが提案されたが、そのようなスケジューリングを手軽に行うスケジューラを書いたということである。 ソースコード from torch.o…

オノマトペ(擬音語)から環境音を合成するニューラルネットワーク(Onoma-to-Wave)をPyTorchで実装した

はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ:訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじ…

プログレスバーを表示するためのPythonライブラリ progressbar2を使ってみた

はじめに Yoshipon氏の以下のツイートからprogressbar2の存在を知ったので、使ってみたということ。 そういえば,最近from progressbar import progressbarが大変便利であることを知った ()— Yoshipon (@yoshipon0520) May 29, 2022 インストール pipでイン…

Hydraのtutorialに従って書いたらpylintに怒られたので修正した話

最近Hydraを使い始めた。tutorialに従えばひとまず使えるようにはなる。 例えば以下のyamlファイルをconfig.yamlとして保存したとする(ニューラルネット的なconfig)。 model: hidden_dim: 128 latent_dim: 32 output_dim: 256 training: epoch: 100 batch_…

wav2pixがpython2系で実装されていたので、python3系で動くように修正した

wav2pixというGANの派生モデルがある。 要するに、音声から顔画像を生成するgeneratorを持つGANである。 図1: wav2pixのネットワーク構成 qiita.com wav2pixの実装はgithub上に見つかるのだが、いかんせんpython2系で実装されておりイマイチだったので、 こ…

オンラインOCSVMに基づく外れ値検知をPythonで実装し、訓練時間削減の効果をベンチマークデータで検証した

はじめに scikit-learn 1.0の新機能として、OC-SVMのオンライン版が紹介されている。 scikit-learn.org オンライン化のご利益は訓練時間の大幅な削減である。 そこで本記事では、「結局オンライン化でどれくらい速くなったの?」という疑問に答えるべく、オ…

カーネルPCAに基づく外れ値検知にサブセットのサンプリング機能を実装して計算量削減を図った話

はじめに 先の記事 tam5917.hatenablog.com にてカーネルPCAに基づく外れ値検知を実装したが、計算量が多く使い物にならない。 そこで本記事では、 tam5917.hatenablog.com の記事にある、データセットのサブサンプリングを組み込むことで計算量を減らしつつ…

カーネル主成分分析による外れ値検知をPyODフォーマットで実装した

はじめに カーネル主成分分析を用いて外れ値検知ができるので、それを実装してみたということ。 カーネル主成分分析を外れ値検知に使うとは? 以下の論文にすべて書いてある(説明の手抜き!)。 Heiko Hoffmann, "Kernel PCA for novelty detection," Patte…

Random Projection Outlyingness(RPO)に基づく外れ値検知をPyODフォーマットで実装した

はじめに Random Projection Outlyingnessとはなにか? depthについて outlyingnessについて Random Projection Outlyingness (RPO) 実装 PyODのインストール RPOクラス Toy example ベンチマーク 参考文献 はじめに データ分布に対する各サンプル点の外れ度…

外れ値検知手法のベンチマークを測定するスクリプトをPyODとOptunaで書いた

はじめに 外れ値検知の代表的な手法であるkNN, LOF, OC-SVM, Isolation Forestについて、ベンチマークを測定するスクリプトを作成した。 各手法は外れ値検知ライブラリのPyODに実装されており、今回はOptunaによるハイパーパラメータ探索も入れている。 PyOD…

Rapid Distance-Based Outlier Detection via Sampling (NIPS 2013) に基づく外れ値検知手法をPyODフォーマットで実装した

はじめに "Rapid Distance-Based Outlier Detection via Sampling" という論文の中で提案された手法を、外れ値検知のためのPythonライブラリ PyOD のフォーマットに落とし込んで、手軽に使えるように実装したということ。併せてベンチマークデータを用いて性…