Minimum なRWKVで学習をテスト

[Geson-anko]

概要

学習のための設定ファイルを追加 エラー無く学習が行えるまで修正 簡単に学習を実行するためのスクリプトなどを作成

補足

データの配置

./data
└── WikiCorpusJa
    ├── fulltext
    ├── sp_tokenizer_32k.model
    ├── sp_tokenizer_32k.vocab
    └── text

Tokenizerはここからダウンロードしてください。 https://github.com/Geson-anko/RWKV-ReImpl/issues/23#issuecomment-1537289387

WikiCorpusJa/text以下にテキストファイルを配置してください。再帰的に列挙するため構造化されていても問題ありません。

依存関係

CUDA 11.8以降でないと rfftが動きませんでした。 make docker-buildでイメージをリビルドしてください。動作確認済みです

Submit前の確認項目

• [ ] タイトルは一目でわかるようにし、説明文は PR を簡潔に説明するようにしましたか?
• [ ] あなたの PR が、異なる変更を束ねたものではなく、ひとつのことだけを行うものであることを確認しましたか?
• [ ] この PR で導入されたすべての変更点をリストアップしましたか?
• [ ] PR を pytestまたは make testコマンドでローカルにテストしましたか?
• [ ] pre-commit run -a またはmake formatコマンドで pre-commit フックを実行しましたか?

参考

https://github.com/matsuo-group24-PinkTrombone/SpeechGeneration/blob/main/ExperimentProject.md