kojimano / Megatron-DeepSpeed-ABCI

Other
5 stars 2 forks source link

聞いておきたいこと #7

Closed losyer closed 1 year ago

losyer commented 1 year ago

・今は学習中にtokenizeしているか、事前にtokenizeしているか ・学習中にtokenizeするとどのくらいパフォーマンスが落ちるか

losyer commented 1 year ago

・合計何Btokenくらいの学習量が確保できそうか(=> 最悪CACCだけでも十分な大きさなのか?)