2023/05/08のRWKVの学習

[Geson-anko]

概要

学習率の指数減衰を行うLambdaLRSchedulerの関数を追加。Warmup機能も一応つけました。 その他、パフォーマンスのチューニングを行っています。 screenの依存関係を追加しました。screenコマンドで仮想シェルに入るとSSHを切っても処理を続けてくれます。 差分がたくさんあってすみません。

• 学習率の曲線

• 損失の推移

注意

学習の途中でlossがnanになります。パラメータの値が爆発してしまったかもしれないです。学習率を下げると単にNaNが出るタイミングが遅くなるだけでした。

Submit前の確認項目

• [x] タイトルは一目でわかるようにし、説明文は PR を簡潔に説明するようにしましたか?
• [ ] あなたの PR が、異なる変更を束ねたものではなく、ひとつのことだけを行うものであることを確認しましたか?
• [x] この PR で導入されたすべての変更点をリストアップしましたか?
• [x] PR を pytestまたは make testコマンドでローカルにテストしましたか?
• [x] pre-commit run -a またはmake formatコマンドで pre-commit フックを実行しましたか?

補足