xujinzh / xujinzh.github.io

个人博客主页
https://xujinzh.github.io/
3 stars 2 forks source link

本地大模型部署方案之一:ollama 和 open webui | J. Xu #364

Open xujinzh opened 3 months ago

xujinzh commented 3 months ago

https://xujinzh.github.io/2024/07/02/ai-llm-deploy-simple/

大语言模型的成功,让我们感觉到人类已经站在智能化时代的起点。ollama 无疑是目前相对比较容易启动并运行大型语言模型的解决方案之一,经过一段时间的测试使用,发现它非常适合本地部署使用各种开源大模型,运行效率高,速度快。结合 open webui 能够提供类似于 chatgpt 一样的效果。 安装 ollama这里以 Ubuntu 18.04 为例,其他系统的安装请参考ollama官网. 最简单的