请问wenda平台支持在昇腾NPU芯片上运行吗？

wenda-LLM / wenda

闻达：一个LLM调用平台。目标为针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题

GNU Affero General Public License v3.0

6.22k stars 809 forks source link

请问wenda平台支持在昇腾NPU芯片上运行吗？ #533

Open Code-Evan opened 4 months ago

Code-Evan commented 4 months ago

如题，wenda平台是否支持在国产化昇腾NPU芯片上运行，我迁移过去有报错，有大佬成功过吗？报错如下： allocate:torch_npu/csrc/core/npu/NPUCachingAllocator.cpp:2050 NPU error, error code is 107002 [Error]: The context is empty. Check whether acl.rt.set_context or acl.rt.set_device is called.

ImmNaruto commented 4 months ago

这个主要是模型端的适配，要设置一下上下文指定的npu，可以参考昇腾官方对大模型侧的适配，也可以参考http://mirrors.cn-central-221.ovaijisuan.com/article/7