About GPU memory

[hannajiang]

你好，请问下对于C-GQA数据集，你们是用了一张A100训练的吗，且batchsize设置为16？为什么我在4090上将batchsize设置为1都显示cuda out of memory呀？

[bighuang624]

@hannajiang 是的，用的A100。其他参数和开源代码内一致。