Error at win11+wsl2: gguf_init_from_file: invalid magic number 67676a74; error loading model

[hwigithub]

llama-gpt-llama-gpt-api-7b-1 | llama-gpt-llama-gpt-api-7b-1 | [notice] A new release of pip is available: 23.2.1 -> 23.3 llama-gpt-llama-gpt-api-7b-1 | [notice] To update, run: pip install --upgrade pip llama-gpt-llama-gpt-api-7b-1 | Initializing server with: llama-gpt-llama-gpt-api-7b-1 | Batch size: 2096 llama-gpt-llama-gpt-api-7b-1 | Number of CPU threads: 16 llama-gpt-llama-gpt-api-7b-1 | Number of GPU layers: 0 llama-gpt-llama-gpt-api-7b-1 | Context window: 4096 llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-api-7b-1 | gguf_init_from_file: invalid magic number 67676a74 llama-gpt-llama-gpt-api-7b-1 | error loading model: llama_model_loader: failed to load model from /models/llama-2-7b-chat.bin llama-gpt-llama-gpt-api-7b-1 | llama-gpt-llama-gpt-api-7b-1 | llama_load_model_from_file: failed to load model llama-gpt-llama-gpt-api-7b-1 | Traceback (most recent call last): llama-gpt-llama-gpt-api-7b-1 | File "", line 198, in _run_module_as_main llama-gpt-llama-gpt-api-7b-1 | File "", line 88, in _run_code llama-gpt-llama-gpt-api-7b-1 | File "/app/llama_cpp/server/main.py", line 96, in llama-gpt-llama-gpt-api-7b-1 | app = create_app(settings=settings) llama-gpt-llama-gpt-api-7b-1 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-7b-1 | File "/app/llama_cpp/server/app.py", line 343, in create_app llama-gpt-llama-gpt-api-7b-1 | llama = llama_cpp.Llama( llama-gpt-llama-gpt-api-7b-1 | ^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-7b-1 | File "/app/llama_cpp/llama.py", line 365, in init llama-gpt-llama-gpt-api-7b-1 | assert self.model is not None llama-gpt-llama-gpt-api-7b-1 | ^^^^^^^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-7b-1 | AssertionError llama-gpt-llama-gpt-api-7b-1 exited with code 0 llama-gpt-llama-gpt-api-7b-1 | Obtaining file:///app llama-gpt-llama-gpt-api-7b-1 | Installing build dependencies: started llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-api-7b-1 | Installing build dependencies: finished with status 'done' llama-gpt-llama-gpt-api-7b-1 | Checking if build backend supports build_editable: started llama-gpt-llama-gpt-api-7b-1 | Checking if build backend supports build_editable: finished with status 'done' llama-gpt-llama-gpt-api-7b-1 | Getting requirements to build editable: started llama-gpt-llama-gpt-api-7b-1 | Getting requirements to build editable: finished with status 'done' llama-gpt-llama-gpt-api-7b-1 | Installing backend dependencies: started llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-api-7b-1 | Installing backend dependencies: finished with status 'done' llama-gpt-llama-gpt-api-7b-1 | Preparing editable metadata (pyproject.toml): started llama-gpt-llama-gpt-api-7b-1 | Preparing editable metadata (pyproject.toml): finished with status 'done' llama-gpt-llama-gpt-api-7b-1 | Requirement already satisfied: typing-extensions>=4.5.0 in /usr/local/lib/python3.11/site-packages (from llama_cpp_python==0.2.11) (4.8.0) llama-gpt-llama-gpt-api-7b-1 | Requirement already satisfied: numpy>=1.20.0 in /usr/local/lib/python3.11/site-packages (from llama_cpp_python==0.2.11) (1.26.0) llama-gpt-llama-gpt-api-7b-1 | Requirement already satisfied: diskcache>=5.6.1 in /usr/local/lib/python3.11/site-packages (from llama_cpp_python==0.2.11) (5.6.3) llama-gpt-llama-gpt-api-7b-1 | Building wheels for collected packages: llama_cpp_python llama-gpt-llama-gpt-api-7b-1 | Building editable for llama_cpp_python (pyproject.toml): started llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-api-7b-1 | Building editable for llama_cpp_python (pyproject.toml): finished with status 'done' llama-gpt-llama-gpt-api-7b-1 | Created wheel for llama_cpp_python: filename=llama_cpp_python-0.2.11-cp311-cp311-manylinux_2_31_x86_64.whl size=948149 sha256=4a3b2b45d9d6ecd66e5014ef3aebd8165a56d67d9a4910d76913215c5c26773f llama-gpt-llama-gpt-api-7b-1 | Stored in directory: /tmp/pip-ephem-wheel-cache-txdsgvx0/wheels/57/0f/98/bb57b2b57b95807699b822a35c022f139d38a02c27922f27ce llama-gpt-llama-gpt-api-7b-1 | Successfully built llama_cpp_python llama-gpt-llama-gpt-api-7b-1 | Installing collected packages: llama_cpp_python llama-gpt-llama-gpt-api-7b-1 | Attempting uninstall: llama_cpp_python llama-gpt-llama-gpt-api-7b-1 | Found existing installation: llama_cpp_python 0.2.11 llama-gpt-llama-gpt-api-7b-1 | Uninstalling llama_cpp_python-0.2.11: llama-gpt-llama-gpt-api-7b-1 | Successfully uninstalled llama_cpp_python-0.2.11 llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-7b:8000] not yet available... llama-gpt-llama-gpt-api-7b-1 | Successfully installed llama_cpp_python-0.2.11 llama-gpt-llama-gpt-api-7b-1 | WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv llama-gpt-llama-gpt-api-7b-1 | llama-gpt-llama-gpt-api-7b-1 | [notice] A new release of pip is available: 23.2.1 -> 23.3 llama-gpt-llama-gpt-api-7b-1 | [notice] To update, run: pip install --upgrade pip llama-gpt-llama-gpt-api-7b-1 | Initializing server with: llama-gpt-llama-gpt-api-7b-1 | Batch size: 2096 llama-gpt-llama-gpt-api-7b-1 | Number of CPU threads: 16 llama-gpt-llama-gpt-api-7b-1 | Number of GPU layers: 0 llama-gpt-llama-gpt-api-7b-1 | Context window: 4096 llama-gpt-llama-gpt-api-7b-1 | gguf_init_from_file: invalid magic number 67676a74 llama-gpt-llama-gpt-api-7b-1 | error loading model: llama_model_loader: failed to load model from /models/llama-2-7b-chat.bin llama-gpt-llama-gpt-api-7b-1 | llama-gpt-llama-gpt-api-7b-1 | llama_load_model_from_file: failed to load model llama-gpt-llama-gpt-api-7b-1 | Traceback (most recent call last): llama-gpt-llama-gpt-api-7b-1 | File "", line 198, in _run_module_as_main llama-gpt-llama-gpt-api-7b-1 | File "", line 88, in _run_code llama-gpt-llama-gpt-api-7b-1 | File "/app/llama_cpp/server/main.py", line 96, in llama-gpt-llama-gpt-api-7b-1 | app = create_app(settings=settings) llama-gpt-llama-gpt-api-7b-1 | ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-7b-1 | File "/app/llama_cpp/server/app.py", line 343, in create_app llama-gpt-llama-gpt-api-7b-1 | llama = llama_cpp.Llama( llama-gpt-llama-gpt-api-7b-1 | ^^^^^^^^^^^^^^^^ llama-gpt-llama-gpt-api-7b-1 | File "/app/llama_cpp/llama.py", line 365, in init llama-gpt-llama-gpt-api-7b-1 | assert self.model is not None

Any ideas?? # Thanks!