lỗi ko mở được model sử dụng CTransfomers

[fukemy]

Chào bác, cám ơn bác đã đóng góp model, em có thử sử dụng model với RAG để sử dụng cho công việc, thì bị lỗi này: RuntimeError: Failed to create LLM 'mpt' from 'models/PhoGPT-4B-Chat-Q4_K_M.gguf'.

đây là code em sử dụng:

model_file = "models/PhoGPT-4B-Chat-Q4_K_M.gguf"

def load_llm():
    llm = CTransformers(
        model = model_file,
        model_type = "mpt",
        max_new_tokens = 2048,
        temperature = 0.5
    )
    return llm

Mong bác giúp đỡ, em cảm ơn.

[Mr-Jack-Tung]

vì cái model này đã được chỉnh sửa giống với Llama để phù hợp với Ollama hoặc Llama.ccp , nên giờ nó không hoàn toàn là model kiểu MPT nữa rồi bạn nhé :)

[fukemy]

cảm ơn bác để e nghiên cứu thêm