如何开启多卡训练？

shibing624 / text2vec

text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。

https://pypi.org/project/text2vec/

Apache License 2.0

4.39k stars 392 forks source link

如何开启多卡训练？ #109

Closed sangyongjia closed 1 year ago

sangyongjia commented 1 year ago

【v1.2.2版本: 支持多卡训练】我运行[examples/training_sup_text_matching_model.py]文件，发现是单卡训练，请问如何开启多卡训练？

shibing624 commented 1 year ago

readme里面搜下：多卡。

CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node 2 training_sup_text_matching_model_mydata.py --do_train --do_predict --output_dir outputs/STS-B-text2vec-macbert-v1 --batch_size 64 --fp16 --data_parallel

sangyongjia commented 1 year ago

👍，谢谢