search

Clouditera / SecGPT

SecGPT网络安全大模型
Apache License 2.0
1.77k stars 237 forks source link

为什么生成的耗时非常久，平均一个词要1-2秒，整个句子生成用了十几分钟。 #45

Open SamXiaosheng opened 5 months ago

SamXiaosheng commented 5 months ago

你好，我使用的2张A100*40G，用的是你们14B的大模型执行webdemo.py，交互体验很差，问一个问题要生成答案好久，平均一个回复要十几分钟。请问你们测试也是这样情况吗？

RoyalTeng commented 3 months ago

我这边回答挺快的，但是模型效果看起来比较差，回答的长度很短就两句话，而且问同一个问题回答非常不一样，效果很差，不如ChatGLM3 6B