search

mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案
MIT License
3.71k stars 443 forks source link

如何做batchsize>1的infer #232

Open BshoterJ opened 1 year ago

BshoterJ commented 1 year ago

试了一下bs>1做infer，结果好像和1的时候变化有点大