ztxz16 / fastllm

纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行
Apache License 2.0
3.31k stars 339 forks source link

修复时间戳重复的问题 #300

Closed yuanphoenix closed 1 year ago

yuanphoenix commented 1 year ago

原先使用time.time()时间戳,可能会在并发高的时候时间戳相同,如果文本也相同,那么hash也会相同,会导致推理完成后,重复删除 hash 报错。

现在使用uuid,可以避免时间戳相同的问题,同时c++代码中find_last_of方法与 rfind 是有区别的,uuid中的字母可能会触发find_last_of,换成rfind就没有这个问题了 。

代码已经编译成功,并在我的机器上测试,没有问题。