Closed dinhan92 closed 8 months ago
bỏ cuda thay bằng cpu thì k chạy đc :(
Tôi cũng vậy, không dùng cpu được
Hầu hết các mô hình ngôn ngữ cần chạy trên GPU bạn nha, CPU sẽ không chạy nổi đâu.
Yes, you might want to use https://github.com/ggerganov/llama.cpp that supports "MPT"-type model, including PhoGPT.
Mình thấy hướng dẫn là dùng CUDA, mình chạy model này bằng CPU được không bạn? Cấu hình phải như thế nào mới chạy ngon ạ?