search

NLPJCL / RAG-Retrieval

Unify Efficient Fine-tuning of RAG Retrieval, including Embedding, ColBERT, ReRanker.
MIT License
506 stars 45 forks source link

双卡微调bge-m3模型的embedding发送OOM #33

Closed zsyggg closed 2 months ago

zsyggg commented 2 months ago

使用500M的三元组数据集，更改bash文件中batch_size=2和gradient_accumulation_steps=32之后，使用双卡4090，还是报错显存不足，请问有什么降低显存且不更改batch_size的办法吗？因为数据集差不多2w条数据，是不是500M太大了？

NLPJCL commented 2 months ago

降低负例的个数，减少最大序列长度。