Open PeterouZh opened 12 months ago
您好,感谢您的工作,可以提供一个训练好的模型吗,方便大家玩耍。
我这边因为算力的原因,出来的模型是很挫的哈哈哈,我只是把流程走通了,初步验证了下是可行的,当作一个学习项目发出来给大家自由探索的,要可玩的话,肯定还是要把模型做到百M级,数据也要多来点。
请问显存大概需要多少,3090占满了嘛
您好,感谢您的工作,可以提供一个训练好的模型吗,方便大家玩耍。
我这边因为算力的原因,出来的模型是很挫的哈哈哈,我只是把流程走通了,初步验证了下是可行的,当作一个学习项目发出来给大家自由探索的,要可玩的话,肯定还是要把模型做到百M级,数据也要多来点。
挫没关系哈,我是个人爱好者,机器放在家里,不想自己重新训练,要交电费 :-)
按作者的setting,pretrain,batch32,用flash attention大概32G,不用大概36G, SFT作者给的batch32,显存报错,后来调成16就没问题了,所以batch32对应的显存应该是超过40G的,我用的A100-40G
您好,感谢您的工作,可以提供一个训练好的模型吗,方便大家玩耍。
我这边因为算力的原因,出来的模型是很挫的哈哈哈,我只是把流程走通了,初步验证了下是可行的,当作一个学习项目发出来给大家自由探索的,要可玩的话,肯定还是要把模型做到百M级,数据也要多来点。
挫没关系哈,我是个人爱好者,机器放在家里,不想自己重新训练,要交电费 :-)
(这里提供了一个训练好的)[https://github.com/AI-Study-Han/Mini-Llama2-Chinese]
您好,感谢您的工作,可以提供一个训练好的模型吗,方便大家玩耍。