是否有释放模型的接口？

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行

Apache License 2.0

3.28k stars 333 forks source link

Open 2111905222 opened 12 months ago

2111905222 commented 12 months ago

如果在进程里kill掉相关程序，容易导致显卡驱动崩溃，需要硬重启，想问问是什么原因以及是否有释放模型的接口

hediyuan commented 11 months ago

同求，模型在进程中加载一次后，我想要主动释放掉，不知道该怎么操作，模型会一直加载在显存里