MeCabのノイズ除去処理

[shiron-dev]

URL、絵文字、記号を前処理で削除する 削除するもの

• [x] URL
• [x] 絵文字
• [x] 記号
• [x] 数字
• [x] 英語

その他

• [ ] 半角全角統一

[shiron-dev]

数字、英語も削除する

[shiron-dev]

半角全角

[shiron-dev]

全角半角保留

[shiron-dev]

そもそもfasttextの出力が全角半角混じってるのでいいかなということで一時クローズ