Проблема запуска ggml версии

Samoed commented 1 year ago

Привет. Я пытался запустить IlyaGusev/saiga2_7b_ggml:

python interact_llamacpp.py ggml-model-q4_1.bin

но получал ошибку

gguf_init_from_file: invalid magic number 67676a74
error loading model: llama_model_loader: failed to load model from ggml-model-q4_1.bin

llama_load_model_from_file: failed to load model
Traceback (most recent call last):
  File "/home/samoed/Downloads/interact_llamacpp.py", line 73, in <module>
    fire.Fire(interact)
  File "/home/samoed/.pyenv/versions/3.10.4/lib/python3.10/site-packages/fire/core.py", line 141, in Fire
    component_trace = _Fire(component, args, parsed_flag_args, context, name)
  File "/home/samoed/.pyenv/versions/3.10.4/lib/python3.10/site-packages/fire/core.py", line 475, in _Fire
    component, remaining_args = _CallAndUpdateTrace(
  File "/home/samoed/.pyenv/versions/3.10.4/lib/python3.10/site-packages/fire/core.py", line 691, in _CallAndUpdateTrace
    component = fn(*varargs, **kwargs)
  File "/home/samoed/Downloads/interact_llamacpp.py", line 41, in interact
    model = Llama(
  File "/home/samoed/.pyenv/versions/3.10.4/lib/python3.10/site-packages/llama_cpp/llama.py", line 323, in __init__
    assert self.model is not None
AssertionError

Пробывал даунгрейдитьllama-cpp-python==0.1.49, но не помогло. Кто-то знает как решить это?

IlyaGusev commented 1 year ago

Так а модель-то скачана? Какая md5sum?

IlyaGusev commented 1 year ago

Впрочем воспроизвёл, на последних версиях и 0.1.49 не работает, а вот на 0.1.65 вполне работает (как и на любой другой версии между ggml v1 и gguf).

IlyaGusev / rulm

Проблема запуска ggml версии #27