Can't install the 70B model

[D2567]

[+] Running 2/0 ✔ Container llama-gpt-llama-gpt-ui-1 Created 0.0s ✔ Container llama-gpt-llama-gpt-api-70b-1 Created 0.0s Attaching to llama-gpt-llama-gpt-api-70b-1, llama-gpt-llama-gpt-ui-1 llama-gpt-llama-gpt-ui-1 | [INFO wait] -------------------------------------------------------- llama-gpt-llama-gpt-ui-1 | [INFO wait] docker-compose-wait 2.12.0 llama-gpt-llama-gpt-ui-1 | [INFO wait] --------------------------- llama-gpt-llama-gpt-ui-1 | [DEBUG wait] Starting with configuration: llama-gpt-llama-gpt-ui-1 | [DEBUG wait] - Hosts to be waiting for: [llama-gpt-api-70b:8000] llama-gpt-llama-gpt-ui-1 | [DEBUG wait] - Paths to be waiting for: [] llama-gpt-llama-gpt-ui-1 | [DEBUG wait] - Timeout before failure: 21600 seconds llama-gpt-llama-gpt-ui-1 | [DEBUG wait] - TCP connection timeout before retry: 5 seconds llama-gpt-llama-gpt-ui-1 | [DEBUG wait] - Sleeping time before checking for hosts/paths availability: 0 seconds llama-gpt-llama-gpt-ui-1 | [DEBUG wait] - Sleeping time once all hosts/paths are available: 0 seconds llama-gpt-llama-gpt-ui-1 | [DEBUG wait] - Sleeping time between retries: 1 seconds llama-gpt-llama-gpt-ui-1 | [DEBUG wait] -------------------------------------------------------- llama-gpt-llama-gpt-ui-1 | [INFO wait] Checking availability of host [llama-gpt-api-70b:8000] llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-api-70b-1 | /models/llama-2-70b-chat.bin model found. llama-gpt-llama-gpt-api-70b-1 | python3 setup.py develop llama-gpt-llama-gpt-api-70b-1 | /usr/local/lib/python3.11/site-packages/setuptools/command/develop.py:40: EasyInstallDeprecationWarning: easy_install command is deprecated. llama-gpt-llama-gpt-api-70b-1 | !! llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | **** llama-gpt-llama-gpt-api-70b-1 | Please avoid running setup.py and easy_install. llama-gpt-llama-gpt-api-70b-1 | Instead, use pypa/build, pypa/installer or other llama-gpt-llama-gpt-api-70b-1 | standards-based tools. llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | See https://github.com/pypa/setuptools/issues/917 for details. llama-gpt-llama-gpt-api-70b-1 | **** llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | !! llama-gpt-llama-gpt-api-70b-1 | easy_install.initialize_options(self) llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | [0/1] Install the project... llama-gpt-llama-gpt-api-70b-1 | -- Install configuration: "Release" llama-gpt-llama-gpt-api-70b-1 | -- Up-to-date: /app/_skbuild/linux-x86_64-3.11/cmake-install/llama_cpp/libllama.so llama-gpt-llama-gpt-api-70b-1 | copying _skbuild/linux-x86_64-3.11/cmake-install/llama_cpp/libllama.so -> llama_cpp/libllama.so llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | running develop llama-gpt-llama-gpt-api-70b-1 | /usr/local/lib/python3.11/site-packages/setuptools/_distutils/cmd.py:66: SetuptoolsDeprecationWarning: setup.py install is deprecated. llama-gpt-llama-gpt-api-70b-1 | !! llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | **** llama-gpt-llama-gpt-api-70b-1 | Please avoid running setup.py directly. llama-gpt-llama-gpt-api-70b-1 | Instead, use pypa/build, pypa/installer or other llama-gpt-llama-gpt-api-70b-1 | standards-based tools. llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | See https://blog.ganssle.io/articles/2021/10/setup-py-deprecated.html for details. llama-gpt-llama-gpt-api-70b-1 | **** llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | !! llama-gpt-llama-gpt-api-70b-1 | self.initialize_options() llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | running egg_info llama-gpt-llama-gpt-api-70b-1 | writing llama_cpp_python.egg-info/PKG-INFO llama-gpt-llama-gpt-api-70b-1 | writing dependency_links to llama_cpp_python.egg-info/dependency_links.txt llama-gpt-llama-gpt-api-70b-1 | writing requirements to llama_cpp_python.egg-info/requires.txt llama-gpt-llama-gpt-api-70b-1 | writing top-level names to llama_cpp_python.egg-info/top_level.txt llama-gpt-llama-gpt-api-70b-1 | reading manifest file 'llama_cpp_python.egg-info/SOURCES.txt' llama-gpt-llama-gpt-api-70b-1 | adding license file 'LICENSE.md' llama-gpt-llama-gpt-api-70b-1 | writing manifest file 'llama_cpp_python.egg-info/SOURCES.txt' llama-gpt-llama-gpt-api-70b-1 | running build_ext llama-gpt-llama-gpt-api-70b-1 | Creating /usr/local/lib/python3.11/site-packages/llama-cpp-python.egg-link (link to .) llama-gpt-llama-gpt-api-70b-1 | llama-cpp-python 0.1.78 is already the active version in easy-install.pth llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | Installed /app llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | Processing dependencies for llama-cpp-python==0.1.78 llama-gpt-llama-gpt-api-70b-1 | Searching for diskcache==5.6.1 llama-gpt-llama-gpt-api-70b-1 | Best match: diskcache 5.6.1 llama-gpt-llama-gpt-api-70b-1 | Processing diskcache-5.6.1-py3.11.egg llama-gpt-llama-gpt-api-70b-1 | Adding diskcache 5.6.1 to easy-install.pth file llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | Using /usr/local/lib/python3.11/site-packages/diskcache-5.6.1-py3.11.egg llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | Searching for numpy==1.26.0b1 llama-gpt-llama-gpt-api-70b-1 | Best match: numpy 1.26.0b1 llama-gpt-llama-gpt-api-70b-1 | Processing numpy-1.26.0b1-py3.11-linux-x86_64.egg llama-gpt-llama-gpt-api-70b-1 | Adding numpy 1.26.0b1 to easy-install.pth file llama-gpt-llama-gpt-api-70b-1 | Installing f2py script to /usr/local/bin llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | Using /usr/local/lib/python3.11/site-packages/numpy-1.26.0b1-py3.11-linux-x86_64.egg llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | Searching for typing-extensions==4.7.1 llama-gpt-llama-gpt-api-70b-1 | Best match: typing-extensions 4.7.1 llama-gpt-llama-gpt-api-70b-1 | Adding typing-extensions 4.7.1 to easy-install.pth file llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | Using /usr/local/lib/python3.11/site-packages llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | Finished processing dependencies for llama-cpp-python==0.1.78 llama-gpt-llama-gpt-api-70b-1 | Initializing server with: llama-gpt-llama-gpt-api-70b-1 | Batch size: 2096 llama-gpt-llama-gpt-api-70b-1 | Number of CPU threads: 12 llama-gpt-llama-gpt-api-70b-1 | Number of GPU layers: 0 llama-gpt-llama-gpt-api-70b-1 | Context window: 4096 llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-api-70b-1 | /usr/local/lib/python3.11/site-packages/pydantic/_internal/_fields.py:127: UserWarning: Field "modelalias" has conflict with protected namespace "model". llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | You may be able to resolve this warning by setting model_config['protected_namespaces'] = ('settings_',). llama-gpt-llama-gpt-api-70b-1 | warnings.warn( llama-gpt-llama-gpt-api-70b-1 | llama-gpt-llama-gpt-api-70b-1 | llama.cpp: loading model from /models/llama-2-70b-chat.bin llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: warning: assuming 70B model based on GQA == 8 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: format = ggjt v3 (latest) llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_vocab = 32000 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_ctx = 4096 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_embd = 8192 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_mult = 4096 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_head = 64 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_head_kv = 8 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_layer = 80 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_rot = 128 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_gqa = 8 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: rnorm_eps = 5.0e-06 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: n_ff = 28672 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: freq_base = 10000.0 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: freq_scale = 1 llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: ftype = 2 (mostly Q4_0) llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: model size = 70B llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: ggml ctx size = 0.21 MB llama-gpt-llama-gpt-api-70b-1 | llama_model_load_internal: mem required = 37070.96 MB (+ 1280.00 MB per state) llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... llama-gpt-llama-gpt-ui-1 | [INFO wait] Host [llama-gpt-api-70b:8000] not yet available... And it just keeps going like this. So I just stopped it after an hour

[D2567]

The 7B and 13B work. It's just the 70B that doesn't

[VivaWolf]

These steps worked for me when I was getting a similar issue for the 7B model: -Launch Docker Desktop and delete the llama-gpt-llama-gpt-api-70b-1 container -Delete llama-2-70b-chat.bin from your models folder

This will reinstall the model though and might take a long time :)

[rsebi]

Working fine for me, just took way longer since the model is about 38GB. Worth checking internet is fine as any interruption will end up in error.

[jeffreyjackson]

Yes, the answer here is making sure you have any allocated RAM for your docker container (im using 48GB), after a couple minutes it will finally load. Also see here: https://github.com/getumbrel/llama-gpt/issues/44#issuecomment-1694956273