evaluation_jglue - Githubissues

kojimano / Megatron-DeepSpeed-ABCI

Other

5 stars 2 forks source link

evaluation_jglue #2

Open kojimano opened 1 year ago

kuriyan1204 commented 1 year ago

these might be useful :

HuggingFace datasets of JGLUE : https://huggingface.co/datasets/shunk031/JGLUE
https://github.com/yahoojapan/JGLUE
JGLUE papers
- https://aclanthology.org/2022.lrec-1.317/
- https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/E8-4.pdf

keisks commented 1 year ago

4/20の全体ミーティングでのコメント

(j)GLUEは古いのではないか？ --> few shotならまだ使えるベンチマーク（そもそもfew shotのbaselineが存在していない。）
生成系の評価ができたらいい、また数量推論など幅広いベンチマークがほしい --> 既存の英語のベンチマークのsubsetを日本語にすれば良い？