Tlntin / qwen-ascend-llm

Apache License 2.0
25 stars 2 forks source link

om模型推理闪退报段错误 (核心已转储) #3

Closed yaohaojie closed 3 weeks ago

yaohaojie commented 1 month ago

您好,我在测试qwen1.5-0.5b-chat时通过转om推理时,输入input后闪退报段错误 (核心已转储),请问应该怎样去定位问题

Tlntin commented 1 month ago

你的环境?CANN版本,芯片类型,操作系统。是否使用docker?

Tlntin commented 1 month ago

是否有完整日志?

yaohaojie commented 1 month ago

No description provided.

是否有完整日志?

你的环境?CANN版本,芯片类型,操作系统。是否使用docker?

未使用docker,cann版本信息如下: package_name=Ascend-cann-toolkit version=8.0.RC2 arch=aarch64 操作系统:统信uos-v20-64位 处理器:kunpeng920

image
yaohaojie commented 1 month ago

是否有完整日志?

image
Tlntin commented 1 month ago

昇腾310p处理器貌似可以直接用华为官方的MindIE-LLM。我目前只测试了310b1/310b4,它没有独立显存,所以语法可能不太兼容310p。

yaohaojie commented 1 month ago

昇腾310p处理器貌似可以直接用华为官方的MindIE-LLM。我目前只测试了310b1/310b4,它没有独立显存,所以语法可能不太兼容310p。

好的 多谢 我试一下官方的 稍后给您反馈下

Tlntin commented 1 month ago

ok

yaohaojie commented 1 month ago

ok

image

官方llm只支持300l-duo 现在使用的是300l-pro 能否指点怎么修改代码去适配310p的老师

Tlntin commented 1 month ago

你可以直接拿docker方案跑一下试试。http://mirrors.cn-central-221.ovaijisuan.com/detail/139.html 我没有相关卡,没办法测试。

yaohaojie commented 1 month ago

你可以直接拿docker方案跑一下试试。http://mirrors.cn-central-221.ovaijisuan.com/detail/139.html 我没有相关卡,没办法测试。

好的 再次感谢

Tlntin commented 1 month ago

不客气。

Tlntin commented 3 weeks ago

@yaohaojie 今天做了一下910的适配,310p应该也可以跑了,不过推理速度肯定远远不如MindIE哈。

yaohaojie commented 3 weeks ago

@yaohaojie 今天做了一下910的适配,310p应该也可以跑了,不过推理速度肯定远远不如MindIE哈。

好的 我试下给反馈