2022-09-01から1ヶ月間の記事一覧

Pythonによる日本語チャットボットの構築 in 2022 〜ChatterBotインストール編〜

はじめに Pythonでチャットボットを作りたくなった。 ChatterBotが便利に使えそうだということで、インストールログを残しておく。 動作環境 Python3.9.13 macOS BigSur 11.6 インストール まず仮想環境を準備する。 python3 -m venv chatbot chatbotディレ…

Transformerの学習率を調整するSchedulerクラスをPyTorchで書いた

はじめに Attention is All You Needという論文で「warmup & ステップ数の逆平方根で学習率を減衰」させる学習率スケジューリングが提案されたが、そのようなスケジューリングを手軽に行うスケジューラを書いたということである。 ソースコード from torch.o…