Telechat-115B推理显存要求

Tele-AI / TeleChat2

星辰语义大模型TeleChat2是由中国电信人工智能研究院研发训练的大语言模型，是首个完全国产算力训练并开源的千亿参数模型

135 stars 12 forks source link

Closed WenhaoYao closed 1 week ago

WenhaoYao commented 1 month ago

115B的模型能否支持8张Ascend 910B推理，推理显存大概需要多少？

luoyang1999 commented 1 month ago

支持，8张Ascend 910B (64g) 启动推理时，单张显存占用约34g