sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)

Creative Commons Attribution Share Alike 4.0 International

31 stars 9 forks source link

[Feature] Add prediction logging #43

Closed lsz05 closed 3 months ago

lsz05 commented 3 months ago

関連する Issue / PR

42

PR をマージした後の挙動の変化

テストセットの予測値をjsonlで出力するようにした

挙動の変更を達成するために行ったこと

EvaluationResultクラスにpredictionsを追加
各タスクのテストセット予測値を出力させる

動作確認

[x] テストが通ることを確認した
[x] マージ先がdevブランチであることを確認した

akiFQC commented 3 months ago

LGTMです