t0d4 / informal-gpt

GPT-2 model finetuned to talk in informal way

0 stars 0 forks source link

survey about pretrained models #1

Closed t0d4 closed 1 year ago

t0d4 commented 1 year ago

使用するモデルの候補を調べる。

[x] Reward Modelとして用いるモデルの候補を調べる
[x] Text Generatorとして用いるモデルの候補を調べる

以下をまとめられるとレポート書くときに良さそう

モデル名
パラメタ数
Hugging Face上のURL
論文へのURL
事前学習・ファインチューニングに使われたデータセット（コーパス）

TRLのGPT-2をチューニングするチュートリアルを読む感じでは、クエリにIMDBデータセット（映画レビューのデータセット）を使うならIMDBデータセットでファインチューニングされたGPT-2（この場合だとgpt2-imdb）を利用すると良いようなので、

何らかのコーパスでファインチューニングされていて
そのコーパスが比較的簡単に手に入る

ようなGPT-2ベースのモデルを使うのが理想。

t0d4 commented 1 year ago

最初のトライとして、

Reward Modelに s-nlp/roberta-base-formality-ranker
Text Generatorに robowaifudev/megatron-gpt2-345m

を使ってRLしてみる。

2 を参照