Open xuehui0725 opened 3 years ago
请问下,你预训练长度4096,是单卡GPU还是多卡GPU进行训练的,如果是单卡,显存是多大的呢?预训练的batch_size设置了多大,整个预训练过程用了多久呢?
请问下,你预训练长度4096,是单卡GPU还是多卡GPU进行训练的,如果是单卡,显存是多大的呢?预训练的batch_size设置了多大,整个预训练过程用了多久呢?