search

echonoshy / cgft-llm

Practice to LLM.
MIT License
312 stars 59 forks source link

进行推理的命令 #2

Closed AryaFeng closed 3 months ago

AryaFeng commented 3 months ago

您好，这边可以分享以下推理的时候使用的命令吗？

echonoshy commented 3 months ago

能麻烦详细描述一下需求吗， 什么模型或者框架推理的命令。 视频相关的代码已经放在repo里了，您可以在对应的文件夹中获取。

AryaFeng commented 3 months ago

感谢您的回复，就是使用命令行进行推理。这块我解决了，目前还有个问题，就是选择不同的llama模板有什么区别吗，我目前遇到一个问题就是llama3-8b使用llama3 template就会生成一堆乱起八糟的，但是使用llama2 template会效果好一点，大佬可以分享下llama2的template格式吗。因为我在使用webui的时候，是可以检测到数据集，并且选择的是llama3 template，但就是最后训练之后，推理很拉，相反，在trian的时候，--template llama2 效果可以

echonoshy commented 3 months ago

ref: https://github.com/hiyouga/LLaMA-Factory/blob/main/src/llamafactory/data/template.py#L687