The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
24
stars
4
forks
source link
[Feature] validation setを用いてhyperparameter tuningをする #13
Closed
lsz05 closed 4 months ago
関連する Issue / PR
5
PR をマージした後の挙動の変化
valid setの設定を必須とし,それを用いてhyperparameter tuningをすることができるようになりました。
挙動の変更を達成するために行ったこと
src/jmteb/evaluators
においてdata.py
において,Dataset
インスタンスを初期化する際にvalid setの指定は必須とする。metric_value
とする。Dataset
クラスのイコール判定を実装した。val_dataset == test_dataset
の場合,重複処理をしない。動作確認