Sambanovaで使うデータセットの用意

[losyer]

04/27のミーティングより

方針

• mc4など前処理に時間がかかりそうなものは避ける
• あくまでABCIグランドチャレンジに向けた練習という立ち位置

よって、以下を用いる。

• Wikipedia（未DL）
• CC100（DL済み）
  • 比較的クリーンなので

前処理の優先順位

• 正規化（NFD or NFC）
• 重複削除