search

yangjianxin1 / Firefly

Firefly: 大模型训练工具，支持训练Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型
5.34k stars 482 forks source link

请教 NotImplementedError: Cannot copy out of meta tensor; no data! #73

Open LittlefishStudent opened 1 year ago

LittlefishStudent commented 1 year ago

image 加载YeungNLP/firefly-llama2-13b时报如上错误

Essence9999 commented 12 months ago

已解决！我是合并模型后，出现这个报错，在AutoModelForCausalLM.from_pretrained中加入参数load_in_4bit=True或者load_in_8bit=True就解决了。