search

sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
33 stars 11 forks source link

[Leaderboard] Fix leaderboard summary average #74

Closed lsz05 closed 2 months ago

lsz05 commented 2 months ago

関連する Issue / PR

N/A

PR をマージした後の挙動の変化

リーダーボードのSummary部分のaverageがmacroからmicro averageへ修正しました。

挙動の変更を達成するために行ったこと

もともとsummaryでのaverageがtaskごとのスコアの平均だったが，micro-averageが正しいので，datasetごとの平均に修正。

動作確認