sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
24 stars 4 forks source link

[Feature] validation setを用いてhyperparameter tuningをする #13

Closed lsz05 closed 4 months ago

lsz05 commented 5 months ago

関連する Issue / PR

5

PR をマージした後の挙動の変化

valid setの設定を必須とし,それを用いてhyperparameter tuningをすることができるようになりました。

挙動の変更を達成するために行ったこと

src/jmteb/evaluatorsにおいて

動作確認

lsz05 commented 5 months ago

少し劇的な変更ですが,pair classification以外は実質一緒です @masaya-ohagi @ryokan0123 レビューよろしくお願いいたします。