search

wangyuxinwhy / uniem

unified embedding model
Apache License 2.0
814 stars 61 forks source link

能不能说明一下显卡要求啊？ #123

Open pdwfree opened 5 months ago

pdwfree commented 5 months ago

🚀 The feature

在说明里能不能增加一下显卡的要求啊？ 比如说，哪种数据量级的数据微调时，m3e-small base large 对显卡显存的要求是什么？ 4080 16G、3090 24G这些卡 单卡能跑吗？ 穷人手里没有48G 80G这样的卡。 非常感谢大佬们的答复。

wangyuxinwhy commented 5 months ago

16G 这种级别的卡就都够用，需要注意的是，batch_size 不要设置的太大

susht3 commented 4 months ago

16G 这种级别的卡就都够用，需要注意的是，batch_size 不要设置的太大

您好，我的单卡是32G，但是最大只能跑batch size32；设置8卡来跑，也跑不通batch size 128，还有什么地方需要配置么？

srun -p src-12xv100-32g --workspace-id src -f pt -r N1lS.Ib.I20.8 -N 8 -d AllReduce bash finetune.sh

wangyuxinwhy commented 4 months ago

uniem 的显存瓶颈主要在激活上，并且依赖于 In Batch 的负采样，所以 DDP 或者 ZeRO 的方式也没有办法提升 Batch Size...