关于测试代码 bench_lora.py 中 pastlen 不更新的问题

punica-ai / punica

Serving multiple LoRA finetuned LLM as one

https://arxiv.org/abs/2310.18547

Apache License 2.0

884 stars 40 forks source link

Closed fssqawj closed 7 months ago

fssqawj commented 8 months ago

你好，非常棒的工作！

在这里 https://github.com/punica-ai/punica/blob/master/benchmarks/bench_lora.py#L132 req 的 pastlen 每次 decode 都是使用编码阶段的 prompt 长度（后面没看到更新的操作），感觉是有问题的~

abcdabcd987 commented 8 months ago

没错，你说得对。我们两个月前也发现了这个bug。这个repo后续还有非常多改动，现在我们正在整理代码，整理完了会一块push过来。

abcdabcd987 commented 7 months ago

Pushed.