search

sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
33 stars 11 forks source link

複数GPUで`SentenceBertEmbedder` のencodeを行いたい #36

Closed akiFQC closed 4 months ago

akiFQC commented 5 months ago

現状の実装だと、複数GPU環境であっても1つのGPUしか使えないように見えるので、複数のGPUを使ってテキスト埋め込みをできるようにしたい。

実装方法としては、下記が参考になると想定される。 https://github.com/UKPLab/sentence-transformers/blob/master/examples/applications/computing-embeddings/computing_embeddings_multi_gpu.py

lsz05 commented 4 months ago

@akiFQC #38 で対応しましたので本issueクローズとさせていただいてもよろしいでしょうか