search

xujinzh / xujinzh.github.io

个人博客主页
https://xujinzh.github.io/
3 stars 2 forks source link

基于 LMDeploy 的大模型量化和部署 | J. Xu #352

Open xujinzh opened 9 months ago

xujinzh commented 9 months ago

https://xujinzh.github.io/2024/01/13/ai-internlm-lmdeploy/

本篇介绍如何在 Jupyter Notebook 中使用 LMDeploy 对大模型进行量化和部署。