niuhuluzhihao
commented
1 year ago 本人新手小白，我阅读了文档，想请教一下几个问题 1、finetune.py,finetune_chat.py,finetune_deepspeed.py这三者有什么区别呢？ 2、确认一下，generate.py是用于推理模型的代码？interaction适用于对话交互的webui？chat.py是用于什么呢？应该如何使用？ 3、工具中的Quantize LLaMA这一章节中的说显存小于4G，使用7b进行推理，需要进行此章节的步骤。那么我的显存足够的话，是否就是可以不进行此步骤？ 4、如果顺利的话，是否就是在我的本地环境中按照您在colab中的步骤进行操作？但是我观察到我这边可能需要手动下载LLAMA-7b的模型 5、另外，scripts中存放这很多可执行文件。注意到这里面包含finetune.sh,generate.sh,interaction.sh,chat.sh（最新应该是chat_7B.sh）这些和第1点和2点的py文件的是存在对应关系的吗？ 6、tools文件中的quant和application是什么作用呢？
在提问之前，请务必先看看这个注意事项!!!
如果你遇到问题需要我们帮助，你可以从以下角度描述你的信息，以便于我们可以理解或者复现你的错误（学会如何提问不仅是能帮助我们理解你，也是一个自查的过程）： 1、你使用了哪个脚本、使用的什么命令 2、你的参数是什么（脚本参数、命令参数） 3、你是否修改过我们的代码 4、你用的哪个数据集
如果上面都是保持原样的，你可以描述“我用的哪个脚本、命令，跑了哪个任务，然后其他参数、数据都和你们一致”，便于我们平行地理解你们的问题。
然后你可以从环境的角度描述你的问题，这些问题我们在readme已经相关的问题及解决可能会有描述： 1、哪个操作系统 2、使用的什么显卡、多少张 3、python的版本 4、python各种库的版本
然后你也可以从运行的角度来描述你的问题： 1、报错信息是什么，是哪个代码的报错（可以将完整的报错信息都发给我们） 2、GPU、CPU是否工作正常
同时你也可以看看issue，或者我们整理的信息里面有没有类似的问题相关的问题及解决
当然这只是个提问说明，你没有必要一一按照里面的内容来提问。