sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)

Creative Commons Attribution Share Alike 4.0 International

33 stars 10 forks source link

[Feature] Support data parallelism #38

Closed lsz05 closed 4 months ago

lsz05 commented 4 months ago

関連する Issue / PR

36

PR をマージした後の挙動の変化

huggingface transformersのモデルクラスをベースとしたTransformersEmbedderを実装
マルチGPUが使用可能な場合，(inference時の)data parallelism対応
環境(torchバージョン，accelerate)更新

挙動の変更を達成するために行ったこと

acclerateのPartialState利用(参考実装)

動作確認

[x] テストが通ることを確認した
[x] マージ先がdevブランチであることを確認した