search

Tele-AI / Telechat

1.67k stars 85 forks source link

4060ti 16g显卡，7b原始模型，显存占用13g，生成速度一秒两字 #10

Open mengluo04 opened 5 months ago

mengluo04 commented 5 months ago

速度为什么这么慢

liuxz0801 commented 5 months ago

能否提供一下更详细的环境信息。目前我们在40系消费卡上适配，只适配了4090，有关4060ti的bug是有可能存在的。

mengluo04 commented 5 months ago

能否提供一下更详细的环境信息。目前我们在40系消费卡上适配，只适配了4090，有关4060ti的bug是有可能存在的。

CPU:i5-10400f windows版本：win10 21H2 内存：8g*2 显卡：微星万图师双风扇4060ti 16g 显卡信息： image 启动之后显存占用13.5g，回答速度平均1.3字每秒