Mình sử dụng model này bằng CPU được không bạn ơi?

VinAIResearch / PhoGPT

PhoGPT: Generative Pre-training for Vietnamese (2023)

Apache License 2.0

739 stars 67 forks source link

Closed dinhan92 closed 8 months ago

dinhan92 commented 9 months ago

Mình thấy hướng dẫn là dùng CUDA, mình chạy model này bằng CPU được không bạn? Cấu hình phải như thế nào mới chạy ngon ạ?

phumaster commented 9 months ago

bỏ cuda thay bằng cpu thì k chạy đc :(

vinhmdev commented 8 months ago

Tôi cũng vậy, không dùng cpu được

phatjkk commented 8 months ago

Hầu hết các mô hình ngôn ngữ cần chạy trên GPU bạn nha, CPU sẽ không chạy nổi đâu.

datquocnguyen commented 8 months ago

Yes, you might want to use https://github.com/ggerganov/llama.cpp that supports "MPT"-type model, including PhoGPT.