search

QwenLM / qwen.cpp

C++ implementation of Qwen-LM
Other
506 stars 40 forks source link

添加tokens生成速度 #73

Open OliverQueen1466 opened 5 months ago

OliverQueen1466 commented 5 months ago

能否添加一个在推理结束之后，输出prefill和decode速度（token/s）的功能，谢谢