search

meta-llama / llama

Inference code for Llama models
Other
56.57k stars 9.59k forks source link

Ollama: 500, message='Internal Server Error', url='http://host.docker.internal:11434/api/chat' #1171

Open zhai-hello opened 2 months ago

zhai-hello commented 2 months ago

python convert_hf_to_gguf_update.py F:/t5_translate_en_ru_zh_large_1024 创建gguf成功， 然后，创建Modelfile，并写入类似下面的内容。 FROM .\T5_Translate_En_Ru_Zh_Large_1024-851M-F16.gguf -f Modelfile 然后运行 ollama create T5_Translate_En_Ru_Zh_Large_1024-851M-F16.gguf -f Modelfile

以上，都没问题

进入openwebui，选择 ollama create T5_Translate_En_Ru_Zh_Large_1024-851M-F16.gguf -f Modelfile，进入聊天，随便输入内容，然后提示 Ollama: 500, message='Internal Server Error', url='http://host.docker.internal:11434/api/chat' 01