学習用コーパスの作成

[tomishima2904]

目標

source、tail、sourceとtailを含んだ文×3の組みを作成したい

TODO

• sourceとtailを含む文をたくさん用意
• コーパスの作成。この段階で、ある程度不要な文を削除する。
• 上記の組を作成

[tomishima2904]

• 大規模日本語画像captionデータセットである、STAIR captionsを使う
• それだけだとlexicalな関係性の文はおそらく取得できないので、wikipediaのデータも使う
• wikipediaは文の数がめちゃくちゃあるし、文長もばらつきがある。STAIR captionsの文の平均の長さ（文字数）が23.79であるので、文長が30以下になるようにしようかと思っている。

[tomishima2904]

日本語wikipediaデータセットとしては、mecab-ipadic-NEologdでトークナイズされたものを使用する。 この際、##ガスフレア## （ Gas flare ） と は 、のようになっているので、

• ## で囲まれているものを除去（##をなくす）
• ## の 除去、空白を詰めた後の文の文長が30以上のものを削除 (50 → 30で一旦やってみる)

最終的なコーパスはトークナイズされていないものを用意する。なぜなら、T5やBARTのライブラリにトークナイズもちゃんとあるため。

[tomishima2904]

正規化はこれが役に立ちそうなのでメモ📝

ConceptNetのentityはイタリアン_コーヒーや励起_するのように空白が_(アンダーバー)になっているので、_をなくして間を詰める

[tomishima2904]

日本語Wikipedia (2022/12/26)

統計量

• 1,355,566の文章
• 語彙サイズ 11,050,556 → 2,777,080 (出現頻度5未満を<unk>に置換)
• 総トークン数 1,260,151,531

処理

• 500,000の文章をランダムでサンプリング
• 文章を。で区切って文に分割して、1文章につき最大5文抽出
• 全部で1,931,643文抽出
• 抽出した文の例: ケベニー山(ロシア語、<unk>)とは、ユーラシア大陸東端部のカムチャツカ半島を縦走する山脈の1つであるスレジンヌイ山脈を構成する、山の1つである

STAIR Captions

統計量

• 413,915 + 202,520 = 616,435からなる（公式では820,310って言っていたが）

処理

• 画像のキャプションだけを抽出
• 抽出した文の例: ジョージワシントン通りの看板前に立つ一人の男性

[tomishima2904]

• NotDesires
• NotUsedFor
• NotCapableOf
• NotHasProperty

などの否定的な関係性がConceptNetにはある。これらはデータセットに含めないことにする。

[tomishima2904]

とりあえずベースは完成した BART用やBERT用への前処理はまた後でやる