search

IEIT-Yuan / Yuan-2.0

Yuan 2.0 Large Language Model
Other
681 stars 86 forks source link

请问支持多GPU部署吗? #76

Open Ca11MeE opened 10 months ago

Ca11MeE commented 10 months ago

单机多GPU如何部署?可以提供一下脚本吗?

lilianlhl commented 10 months ago

您好，可以参考文档docs/Yuan2_inference_guide_cn.md 一步一步操作。 examples/run_inference_server_51B.sh 是51B多GPU部署脚本 examples/run_inference_server_102B.sh 是102B多GPU部署脚本

Shawn-IEITSystems commented 10 months ago

@Ca11MeE 请问问题是否已解决？