単語idの作成

[yukihito-jokyu]

翻訳モデルを作成する際、それぞれのトークンに対してidを付与する必要がある。 トークンidの作成方法を記述する。

[yukihito-jokyu]

翻訳タスクに用いるデータセット

ここからデータをダウンロードし、翻訳タスクに用いる日本語と英語のデータセットをダウンロードする。 学習には、tok/kyoto-train.jp(入力)とtok/kyoto-train.en(出力)を用いる。その為、単語idはこのデータセットに使われる単語を基に付与をしていく。

[yukihito-jokyu]

単語とそれに対するidはjson形式で保存する

[yukihito-jokyu]

特殊トークンについて

• BOS(Beginning of Sequence Token): シーケンスの開始を表すトークン
• EOS(End of Sequence Token): シーケンスの囚虜を表すトークン
• PAD(Padding Token): シーケンスの長さを一定に揃えるトークン
• UNK(Unkonwn Token): 語彙にない単語を表現するトークン

[yukihito-jokyu]

単語idの作成コードが完了したので閉じる