telexyz / GPT4VN

Ai cũng có thể tự tạo chatbot bằng huấn luyện chỉ dẫn, với 12G GPU (RTX 3060) và khoảng vài chục MB dữ liệu
108 stars 35 forks source link

fix checkpoint load #14

Closed khoapip closed 1 year ago

khoapip commented 1 year ago

set_peft_model_state_dict(model, adapters_weights) return None Nên assign checkpoint model sẽ bằng None Hôm trước em có test load checkpoint bằng lora và qlora thì có bị lỗi thừa weight + thiếu weight ảnh hưởng performance, chắc tối em sẽ thử nghiệm solution trong này xem sửa được không

https://github.com/tloen/alpaca-lora/issues/334

khoapip commented 1 year ago

Em test việc train model + load checkpoint từ weight cũ thì bị lỗi weight not found như ở trong issue, xóa như issue ở alpaca-lora thì đã không còn lỗi đó. Ae nào có thể kéo về thử verify