ベンチマークの引数などをyamlかjson形式で結果を保存するディレクトリに保存する - Githubissues

sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)

Creative Commons Attribution Share Alike 4.0 International

24 stars 4 forks source link

ベンチマークの引数などをyamlかjson形式で結果を保存するディレクトリに保存する #46

Open akiFQC opened 1 month ago

akiFQC commented 1 month ago

現状の問題と要望

jmtebでベンチマークをするときの設定は結果の出力ディレクトに保存されない
実験の再現性という観点で、実験の設定をyamlかjson形式で保存して、再利用・再参照できるようにしたい