.

[honamhairoblox]

Anh ơi em đọc readme.md thì hơi rối ạ aanh có thể hướng dẫn chi tiết cách cài llma cho python được không ạ?

[huynhnhathoangit]

Windows 10:

• Bước 1: nếu ko thấy file mistral-7b-openorca.Q4_0.gguf ở trong link huggingface thì cứ search thẳng gg là ra.
• Bước 2: dùng cái này visualstudio.microsoft.com/visual-cpp-build-tools rồi cài gói Visual Studio Build Tools 2022, nó có kèm C++ for PC developer.
• cài pip install llama-cpp-python nếu thiếu gói nào thì cứ pip install [cái gói mà bị thiếu] đến khi nào hết báo thì thôi. done, Bước 3 chạy python3 ko dc thì thay bằng python.exe

tham khảo tại: https://stackoverflow.com/questions/77267346/error-while-installing-python-package-llama-cpp-python