UnicomAI / Unichat-llama3-Chinese

Apache License 2.0
340 stars 34 forks source link

请问可以上传到ollama的模型仓库上吗 #2

Open michael19960921 opened 4 months ago

michael19960921 commented 4 months ago

我是一个刚刚接触大模型的新手,目前用ollama在本地运行起了llama3。 我还不太熟悉 hugging face。所以我希望大佬可以上传一个到ollama的模型仓库,帮助我快速体验到它。谢谢

UnicomAI commented 4 months ago

我是一个刚刚接触大模型的新手,目前用ollama在本地运行起了llama3。 我还不太熟悉 hugging face。所以我希望大佬可以上传一个到ollama的模型仓库,帮助我快速体验到它。谢谢

我们研究下

michael19960921 commented 4 months ago

@UnicomAI 非常感谢你,期待你的好消息

quqiangsheng commented 4 months ago

同求,需求很热,我们用ollama部署很方便

LGinC commented 4 months ago

还有LM studio

ambiguoustexture commented 4 months ago

可以 huggingface .bin -> llama.cpp GGUF -> Ollama 这个路径来做。 从 huggingface_hub 下载下来后,使用python3 ../llama.cpp/convert.py [local_dir] --vocab-type bpe --outfile llama3-8b-chinese.gguf 进行转换,然后再按照 Ollama 的文档来就行:

$ cat ./Modelfile
FROM ./llama3-8b-chinese.gguf

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
# SYSTEM """
#
# """

$ ollama create llama3-8b-chinese -f Modelfile
$ ollama run llama3-8b-chinese
>>>
zhqfdn commented 4 months ago

Modelfile 这个模板要对应 这个模型的配置,否则会有点问题

xx025 commented 4 months ago

@michael19960921 @quqiangsheng

我在Ollama 社区上传了一个我制作的

https://ollama.com/ollam/unichat-llama3-chinese-8b

详细可见:https://github.com/UnicomAI/Unichat-llama3-Chinese/issues/8#issuecomment-2079581026

michael19960921 commented 4 months ago

@michael19960921 @quqiangsheng

我在Ollama 社区上传了一个我制作的

https://ollama.com/ollam/unichat-llama3-chinese-8b

详细可见:#8 (comment)

谢谢你。我会尝试下

GuSanle commented 4 months ago

@michael19960921 @quqiangsheng

我在Ollama 社区上传了一个我制作的

https://ollama.com/ollam/unichat-llama3-chinese-8b

详细可见:#8 (comment)

是28k的新的吗?