请教一下大家，4层tinybert和6层tinybert加载到显存中，占用了多大的显存

huawei-noah / Pretrained-Language-Model

Pretrained language model and its related optimization techniques developed by Huawei Noah's Ark Lab.

3.03k stars 627 forks source link

Open louiss007 opened 1 year ago

louiss007 commented 1 year ago

我用公开的6层tinybert，利用分类数据微调了一下，之后将模型加载到显存中，看到显存占用有1033M，大家的显存占用有多少呢，感觉占用还是有点多，模型才228M，为什么显存却占了1033M呢【非训练阶段，推理阶段】