Open Lxhnnn opened 10 months ago
怎么提高GLM2模型的推理速度
glm2有使用flash_attention和multihead_attention,继续加速可以考虑一些加速框架吧
怎么提高GLM2模型的推理速度