[Leaderboard] Add `pkshatech/RoSEtta-base-ja` and `pkshatech/GLuCoSE-base-ja-v2` - Githubissues

sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)

Creative Commons Attribution Share Alike 4.0 International

33 stars 10 forks source link

[Leaderboard] Add `pkshatech/RoSEtta-base-ja` and `pkshatech/GLuCoSE-base-ja-v2` #73

Closed lsz05 closed 2 months ago

lsz05 commented 2 months ago

関連する Issue / PR

71
72

PR をマージした後の挙動の変化

pkshatech/RoSEtta-base-ja and pkshatech/GLuCoSE-base-ja-v2の評価結果がリーダーボードに反映

挙動の変更を達成するために行ったこと

上記の二つのモデルの評価をそれぞれ回し，結果を登録した

動作確認

[x] テストが通ることを確認した
[x] マージ先がdevブランチであることを確認した
[x] python make_leaderboard.pyが実行されたことを確認した

その他

評価スクリプト: https://github.com/sbintuitions/JMTEB/blob/fd5d438911fc29ed0d9240601668fcc5bcc316ba/docs/examples/sentencebert_1gpu.sh に --embedder.model_kwargs '{"torch_dtype": "torch.float16"}' \ オプションを削除したものです