sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
24 stars 4 forks source link

[Feature] Add --eval_include option #22

Closed ryokan0123 closed 4 months ago

ryokan0123 commented 4 months ago

PR をマージした後の挙動の変化

挙動の変更を達成するために行ったこと

動作確認

lsz05 commented 4 months ago

excludeの方が後ろで動くので,excludeの方が優先という設定なのでしょうか

ryokan0123 commented 4 months ago

そうですね、include したものの中から、さらに exclude する、という挙動になります。 本当は --eval_include--eval_exclude を、どちらか一方だけ指定できるような排他的な関係にしてもよいのですが、少し特殊な指定も許容するようにしてみました。