wenda-LLM / wenda

闻达:一个LLM调用平台。目标为针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.23k stars 810 forks source link

基于cuda11.6.2和python3.9构建一个闻达(wenda)docker镜像,方便测试及部署。 #470

Open cgwyx opened 1 year ago

cgwyx commented 1 year ago

docker pull cgwyx/wendagpu116:latest

$ docker run -it --name wendagpu --gpus all \ -p 17860:17860 \ -v /mnt/p1/wendadata/wenda:/wenda \ -v /media/cgwyx/sdw1/THUDM:/model/THUDM \ -v /media/cgwyx/p101/qwen:/model/qwen \ -v /media/cgwyx/sdw1/m3e-base:/model/m3e-base \ cgwyx/wendagpu116:latest sh

$ python3 /wenda/wenda.py -c /wenda/config-gpu.yml -t qwen

Jethro-Cheng commented 11 months ago

docker pull cgwyx/wendagpu116:latest

$ docker run -it --name wendagpu --gpus all -p 17860:17860 -v /mnt/p1/wendadata/wenda:/wenda -v /media/cgwyx/sdw1/THUDM:/model/THUDM -v /media/cgwyx/p101/qwen:/model/qwen -v /media/cgwyx/sdw1/m3e-base:/model/m3e-base cgwyx/wendagpu116:latest sh

$ python3 /wenda/wenda.py -c /wenda/config-gpu.yml -t qwen

1697623989447 这个是什么原因呢? 我本地可以运行 但是用docker不行

cgwyx commented 11 months ago

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#docker

参考这个在主机安装container-toolkit  

尾生 @.***

 

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2023年10月18日(星期三) 晚上6:13 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [wenda-LLM/wenda] 基于cuda11.6.2和python3.9构建一个闻达(wenda)docker镜像,方便测试及部署。 (Issue #470)

docker pull cgwyx/wendagpu116:latest

$ docker run -it --name wendagpu --gpus all -p 17860:17860 -v /mnt/p1/wendadata/wenda:/wenda -v /media/cgwyx/sdw1/THUDM:/model/THUDM -v /media/cgwyx/p101/qwen:/model/qwen -v /media/cgwyx/sdw1/m3e-base:/model/m3e-base cgwyx/wendagpu116:latest sh

$ python3 /wenda/wenda.py -c /wenda/config-gpu.yml -t qwen

这个是什么原因呢? 我本地可以运行 但是用docker不行

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>