Debug data processing pipelines

[kuriyan1204]

• [x] Wikipediaのpreprocessing scriptが生成するjsonlの“text”のフィールドに空欄の多い件
• [ ] Abejaのtokenizerの動作確認

[kuriyan1204]

Wikipedia で text が空欄になっている件について -> ページのジャンプが起こるようなURLを踏むと text が空欄になる

Wikipedia のリンクの中には，自動的に別のページに飛ぶようなリンクが存在する

• https://ja.wikipedia.org/wiki?curid=16749
• https://ja.wikipedia.org/wiki?curid=16744
• など

これのリンク先には記事の実態が存在しないので，本文のテキストを抜き出すことができず text が空欄になる WikiExtractor 自体は正常に動いているよう.（よかった）

textが空のものを適宜抜いてあげるなどの処理を書いてしまえば良さそう．

[kuriyan1204]

Abeja Tokenizer の確認について：Tokenizer の場所が分からないので一旦 pend