search

sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
33 stars 10 forks source link

[Feature] Leaderboard作成 #40

Closed lsz05 closed 4 months ago

lsz05 commented 4 months ago

関連する Issue / PR

N/A

PR をマージした後の挙動の変化

簡易リーダーボードを作成した。

挙動の変更を達成するために行ったこと

  1. results以下に {モデル名}/summary.json という構造でデータを置く
  2. python make_leaderboard.py で leaderboard.md にタスク毎のリーダーボードが作成される
    • リーダーボードは、各タスクの平均スコアでソートされる
    • 各列の一番高いスコアは太字

動作確認