请问每个模型推理时需要多大的显存去加载？

ymcui / Chinese-BERT-wwm

Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）

https://ieeexplore.ieee.org/document/9599397

Apache License 2.0

9.56k stars 1.38k forks source link

Closed JohnHerry closed 9 months ago

JohnHerry commented 9 months ago

尝试了chinese-lert-large 模型，用于推理，使用AutoModelForMaskedLM加载的，3090 24G显卡，加载时居然内存不够呢。请问这些模型推理时需要耗费这么大显存吗？

JohnHerry commented 8 months ago

请问 chinese-roberta-large ，使用AutoModelForMaskedLM 加载，跟直接用BertModel加载，使用方向上有何不同？