Open jiahuanluo opened 6 months ago
请问大佬,什么时候可以支持baichuan2+peft的加速呢?或者需要改哪些地方实现支持其他模型呢?
你好!您可以参考 ec31a681 中对chatglm.cpp的修改,修改llama.cpp的相应部分。
请问大佬,什么时候可以支持baichuan2+peft的加速呢?或者需要改哪些地方实现支持其他模型呢?