Closed yaohaojie closed 3 weeks ago
你的环境?CANN版本,芯片类型,操作系统。是否使用docker?
是否有完整日志?
No description provided.
是否有完整日志?
你的环境?CANN版本,芯片类型,操作系统。是否使用docker?
未使用docker,cann版本信息如下: package_name=Ascend-cann-toolkit version=8.0.RC2 arch=aarch64 操作系统:统信uos-v20-64位 处理器:kunpeng920
是否有完整日志?
昇腾310p处理器貌似可以直接用华为官方的MindIE-LLM。我目前只测试了310b1/310b4,它没有独立显存,所以语法可能不太兼容310p。
昇腾310p处理器貌似可以直接用华为官方的MindIE-LLM。我目前只测试了310b1/310b4,它没有独立显存,所以语法可能不太兼容310p。
好的 多谢 我试一下官方的 稍后给您反馈下
ok
ok
官方llm只支持300l-duo 现在使用的是300l-pro 能否指点怎么修改代码去适配310p的老师
你可以直接拿docker方案跑一下试试。http://mirrors.cn-central-221.ovaijisuan.com/detail/139.html 我没有相关卡,没办法测试。
你可以直接拿docker方案跑一下试试。http://mirrors.cn-central-221.ovaijisuan.com/detail/139.html 我没有相关卡,没办法测试。
好的 再次感谢
不客气。
@yaohaojie 今天做了一下910的适配,310p应该也可以跑了,不过推理速度肯定远远不如MindIE哈。
@yaohaojie 今天做了一下910的适配,310p应该也可以跑了,不过推理速度肯定远远不如MindIE哈。
好的 我试下给反馈
您好,我在测试qwen1.5-0.5b-chat时通过转om推理时,输入input后闪退报段错误 (核心已转储),请问应该怎样去定位问题