想问一下在使用多个GPU的时候，batch_size的问题..

ShannonAI / mrc-for-flat-nested-ner

Code for ACL 2020 paper `A Unified MRC Framework for Named Entity Recognition`

643 stars 117 forks source link

Closed xuanzebi closed 3 years ago

xuanzebi commented 3 years ago

lighting官网上写的是batch_size大小是gpus * batch_size

但是在实际使用的时候，使用ddp 进行训练三个卡和一个卡的batch_size是一样大的.. 用三个卡增大batch_size进行训练会爆显存不足，不知道遇到过这个问题吗

YuxianMeng commented 3 years ago

注意不要在其它地方设置环境变量如CUDA_VISIBLE_DEVICES，只用pytorch-lightning的n-gpus参数设置就没有问题