Open apachemycat opened 1 year ago
在提问之前,请务必先看看这个注意事项!!!
如果你遇到问题需要我们帮助,你可以从以下角度描述你的信息,以便于我们可以理解或者复现你的错误(学会如何提问不仅是能帮助我们理解你,也是一个自查的过程): 1、你使用了哪个脚本、使用的什么命令 2、你的参数是什么(脚本参数、命令参数) 3、你是否修改过我们的代码 4、你用的哪个数据集
如果上面都是保持原样的,你可以描述“我用的哪个脚本、命令,跑了哪个任务,然后其他参数、数据都和你们一致”,便于我们平行地理解你们的问题。
然后你可以从环境的角度描述你的问题,这些问题我们在readme已经相关的问题及解决可能会有描述: 1、哪个操作系统 2、使用的什么显卡、多少张 3、python的版本 4、python各种库的版本
然后你也可以从运行的角度来描述你的问题: 1、报错信息是什么,是哪个代码的报错(可以将完整的报错信息都发给我们) 2、GPU、CPU是否工作正常
同时你也可以看看issue,或者我们整理的信息里面有没有类似的问题相关的问题及解决
当然这只是个提问说明,你没有必要一一按照里面的内容来提问。
finetune_chat.py里有判断 train_tokenizer = LlamaTokenizer.from_pretrained(args.model_path, add_eos_token=True) assert train_tokenizer.eos_token_id == 2, "Tokenizer eos is wrong!!!" 这个应该是对的,防止旧模型里token_id=1或者0
但是 finetune.py 里并没有这个判断 是否是漏了呢?
因为finetune_chat是后来开发的(我们开发的人不同也会有一些不同步的问题),可以用这个检查一下tokenizer:https://github.com/Facico/Chinese-Vicuna/blob/master/test_tokenizer.py
在提问之前,请务必先看看这个注意事项!!!
如果你遇到问题需要我们帮助,你可以从以下角度描述你的信息,以便于我们可以理解或者复现你的错误(学会如何提问不仅是能帮助我们理解你,也是一个自查的过程): 1、你使用了哪个脚本、使用的什么命令 2、你的参数是什么(脚本参数、命令参数) 3、你是否修改过我们的代码 4、你用的哪个数据集
如果上面都是保持原样的,你可以描述“我用的哪个脚本、命令,跑了哪个任务,然后其他参数、数据都和你们一致”,便于我们平行地理解你们的问题。
然后你可以从环境的角度描述你的问题,这些问题我们在readme已经相关的问题及解决可能会有描述: 1、哪个操作系统 2、使用的什么显卡、多少张 3、python的版本 4、python各种库的版本
然后你也可以从运行的角度来描述你的问题: 1、报错信息是什么,是哪个代码的报错(可以将完整的报错信息都发给我们) 2、GPU、CPU是否工作正常
同时你也可以看看issue,或者我们整理的信息里面有没有类似的问题相关的问题及解决
当然这只是个提问说明,你没有必要一一按照里面的内容来提问。
finetune_chat.py里有判断 train_tokenizer = LlamaTokenizer.from_pretrained(args.model_path, add_eos_token=True) assert train_tokenizer.eos_token_id == 2, "Tokenizer eos is wrong!!!" 这个应该是对的,防止旧模型里token_id=1或者0
但是 finetune.py 里并没有这个判断 是否是漏了呢?