search

InternLM / lmdeploy

LMDeploy is a toolkit for compressing, deploying, and serving LLMs.
https://lmdeploy.readthedocs.io/en/latest/
Apache License 2.0
3.11k stars 280 forks source link

如何指定模型的数据类型为f16 #1846

Open Yang-bug-star opened 4 days ago

lvhan028 commented 4 days ago

目前需要修改模型 config.json 中的 torch_dtype 在接口或者工具中指定数据类型的功能，我们放在7月份支持