Geson-anko / RWKV-ReImpl

Reproducible implementation and Test of RWKV

6 stars 1 forks source link

ADD SPTokenizingTextDataset #20

Closed Geson-anko closed 1 year ago

Geson-anko commented 1 year ago

概要

16 に関連して、1テキストファイルを一つのデータポイントとして読みこむDataset classを作成しました。

Submit前の確認項目

[x] タイトルは一目でわかるようにし、説明文は PR を簡潔に説明するようにしましたか?
[x] あなたの PR が、異なる変更を束ねたものではなく、ひとつのことだけを行うものであることを確認しましたか?
[x] この PR で導入されたすべての変更点をリストアップしましたか?
[x] PR を pytestまたは make testコマンドでローカルにテストしましたか?
[x] pre-commit run -a またはmake formatコマンドで pre-commit フックを実行しましたか?

補足