OpenBMB / ollama

Get up and running with Llama 3, Mistral, Gemma, and other large language models.
https://ollama.com
MIT License
11 stars 5 forks source link

先前安装了 ollama ,按说明重新安装 OpenBMB / ollama 分支的 ollama 无法读取图片 #16

Open shishaoqi opened 1 week ago

shishaoqi commented 1 week ago

What is the issue?

talos:~/code/models/MiniCPM-Llama3-V-2_5-int4$ ollama run minicpm-llama3-v2.5-q6_k:latest >>> 请描述这张图: ./a3.jpg Added image './a3.jpg' >>> Error: no slots available after 10 retries

输入图片后要等待很久时间,最终报错返回。这个问题困扰我很久。但又发现在拉取 OpenBMB/ollama 目录下,执行 ./ollama serve 是能正常读取图片并输出。

在无数次重试中,发现要让 ollama 命令运行下在你新编译的目录下,不然就不能正常读取图片。问题确认了,但如果我们是把Ollama添加为启动服务来启动的,怎么办?

用 Kimi 搜索:”ubuntu service 如何先进入指定目录,再执行命令“,得到:

设置WorkingDirectory:
在服务单元文件中,添加或修改[Service]部分,包含WorkingDirectory指令,后跟您希望服务进入的目录路径。

好,我的 ollama.service 配置文件,最终如下 :

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
WorkingDirectory=/usr/local/ollama # 这个是你新编译 ollama 的目录
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_FLASH_ATTENTION=1" #这个用于解决 Qwen2 执行不正常(回答异常,返回重复字符)

[Install]
WantedBy=default.target

希望帮助到有碰到此问题的码农们~~~

OS

ubuntu 22.04

GPU

No response

CPU

No response

Ollama version

最新版本