search

Clouditera / SecGPT

SecGPT网络安全大模型
Apache License 2.0
1.77k stars 237 forks source link

SecGPT完整版量化问题 #46

Open LingJingMaster opened 5 months ago

LingJingMaster commented 5 months ago

SecGPT完整版过大，SecGPT-mini效果不尽人意，所以想通过llama的convert进行量化，导出了一个27G的q4_0的bin文件，运行的发现模型幻觉严重，基本上只会说数据集的原始素材，是否能量化出一个介于完整跟mini版中间的medium版本，十分感谢

hobbymai commented 2 days ago

同求