t0d4 / informal-gpt

GPT-2 model finetuned to talk in informal way

0 stars 0 forks source link

test implementation using gpt2-medium and bert-based formality ranker #5

Closed t0d4 closed 1 year ago

t0d4 commented 1 year ago

3 で述べたとおり、Wikipediaのデータセットで訓練されたモデルはインフォーマルな文章に出会うこと自体が少ないので、インフォーマルな文章の特性として間違ったものを捉えている傾向がある（例えばやたら短い文章ばかり生成されるなど）

そこで、インフォーマルなデータも含まれるデータセットを使うことを考え、

Reward Modelに s-nlp/roberta-base-formality-ranker
Text GeneratorにOpenAIの公式 gpt2-medium
データセットに binhgiangnguyendanh/reddit_casual_conversation_for_alpaca_lora と wikitext を4:1でブレンドしたもの

を使ってRLしてみる。

t0d4 commented 1 year ago

結果はweights & biasesにて管理。 https://wandb.ai/t0d4/informal-gpt?workspace=user-t0d4