sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)

Creative Commons Attribution Share Alike 4.0 International

33 stars 10 forks source link

[Feature] マルチスレッド対応 #37

Closed lsz05 closed 5 months ago

lsz05 commented 5 months ago

関連する Issue / PR

36

PR をマージした後の挙動の変化

テキストがlist and (deviceが設定されている or multi-GPU環境がある)場合，SentenceTransformer.encode_multi_processを使用
その他の場合はSentenceTransformer.encodeのまま

挙動の変更を達成するために行ったこと

multiprocessを使用する要件判断
multiprocessとmonoprocessの処理を分ける

動作確認

[x] テストが通ることを確認した
[x] マージ先がdevブランチであることを確認した

lsz05 commented 5 months ago

走らせてみたところ，速度が微妙ですので実装変える予定です。