search

li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4
MIT License
2.81k stars 327 forks source link

请问可以支持ChatGlm3-6b-128K模型量化吗 #290

Open dfengpo opened 2 months ago

dfengpo commented 2 months ago

ChatGlm3-6b-128K是智谱唯一的开源长上下文模型，我需要量化版在cpu环境中运行，请问是否支持这个模型量化