Open techrex opened 6 months ago
在教程第四节“LMDeploy 高效部署 Llama3 实践”的“3.3 在线量化 KV”章节中,增加shell命令示例
lmdeploy chat \ /root/model/Meta-Llama-3-8B-Instruct \ --quant-policy 8 \ --cache-max-entry-count 0.01
在教程第四节“LMDeploy 高效部署 Llama3 实践”的“3.3 在线量化 KV”章节中,增加shell命令示例