search

sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
24 stars 4 forks source link

複数GPUで`SentenceBertEmbedder` のencodeを行いたい #36

Closed akiFQC closed 2 months ago

akiFQC commented 2 months ago

現状の実装だと、複数GPU環境であっても1つのGPUしか使えないように見えるので、複数のGPUを使ってテキスト埋め込みをできるようにしたい。

実装方法としては、下記が参考になると想定される。 https://github.com/UKPLab/sentence-transformers/blob/master/examples/applications/computing-embeddings/computing_embeddings_multi_gpu.py

lsz05 commented 2 months ago

@akiFQC #38 で対応しましたので本issueクローズとさせていただいてもよろしいでしょうか