search

kojimano / Megatron-DeepSpeed-ABCI

Other
5 stars 2 forks source link

前処理はどこでなにをやるか #10

Closed losyer closed 1 year ago

losyer commented 1 year ago

9 とも関連。

losyer commented 1 year ago

場所候補 ・クラウド ・ABCI ・東北大？

前処理候補 ・NFKD/NFKC正規化 ・フィルタリング ・重複削除

kojimano commented 1 year ago

正規化リンクまとめ