kojimano / Megatron-DeepSpeed-ABCI

Other
5 stars 2 forks source link

学習データの最終的な固め方 #8

Closed losyer closed 1 year ago

losyer commented 1 year ago

どのような形にして保存しておけば良いか。 ・1行1文のプレーンテキスト?jsonl? ・圧縮する?(ディスク容量との兼ね合い) ・分割する?(ファイル読み込みの実装、メモリとの兼ね合い)