How to fine-tune for relation prediction using BART ?

[tomishima2904]

目標

(source, target) の組を入力して、relationを予測

課題

1. fine-tuning時に何を入力するか。（source, target)とそのrelationだけで十分？
2. ConceptNetのデータをどのように訓練・テストで分割するか

[tomishima2904]

モデルの構成について

BARTやT5のような言語モデルをファインチューニングしようかと思っている

入力

source, target, source entity と target entity を含む文 (BERTであれば, [ [CLS], source, target, [SEP], sentence] みたいな)

出力

relation文 (例. relation が /r/UsedFor であれば "used for")

TODO

• source entity と target entity を含む文を収集しないといけない

[tomishima2904]

BARTじゃなくて、とりあえず訓練済み日本語T5でやってみようかと思う。