Closed losyer closed 1 year ago
・今は学習中にtokenizeしているか、事前にtokenizeしているか ・学習中にtokenizeするとどのくらいパフォーマンスが落ちるか
・合計何Btokenくらいの学習量が確保できそうか(=> 最悪CACCだけでも十分な大きさなのか?)
・今は学習中にtokenizeしているか、事前にtokenizeしているか ・学習中にtokenizeするとどのくらいパフォーマンスが落ちるか