Scheduled Multi-Task Learning: From Syntax to Translation

[ss1357]

概要

機械翻訳のencoder-decoderモデルはend2endによってソースとターゲットの言語知識を学習している． この機械翻訳の精度を上げるために言語の構造をマルチタスクラーニングで学習しつつ，翻訳するようなモデルを提案する． そのモデルを用いて，マルチタスクラーニングの学習スケジュールを工夫することによって，大きなコーパスでも，小さなコーパスでもBLEUを上げることに成功した． マルチタスク学習のスケジューリングが精度に影響を及ぼすことを示した．

著者

Eliyahu Kiperwasser Miguel Ballesteros（IBM Research）

リンク

TACL2018 https://arxiv.org/pdf/1804.08915.pdf

手法

1.通常のエンコーダと以下のようなデコーダで構成したseq2seqを構築．参考にしているのはAmmar et al. (2016)で，特別なタスク埋め込みベクトルをターゲットに付与することによって，複数のタスクを同時に学習する． 2.入力は文だが，出力が自然な文ではないPOStaggingやUnlabeled Dependency Parsing，Predicting Dependency Relations-Labeled De- pendency Parsingの出力が文になるように定義し直す．だいたい，ラベルの系列を出力文とみなしていく．例は以下．

3. スケジューラに従ってどのタスクの学習データで学習するかを決めて，学習して行く． 例えば，以下の場合だったら，学習のはじめの方はPOSタグの学習データやParsingの学習データで学習して，徐々にtranslationの学習データで学習して行くというスケジュールが考えられる 提案しているスケジュールは以下の３つ

実験

• POSとParsingのデータは共通で，大きめの翻訳コーパスと小さめの翻訳コーパスで実験している

• 小さめだとすごくよく効く

• スケジューラのパラメータチューニングも行なっている

Future work

マルチタスク学習のスケジューリングが精度に影響を及ぼすことがわかったので，今回提案したスケジューラ以外にもより多くのスケジューラを考えていきたい．