search

airockchip / rknn-llm

Other
420 stars 37 forks source link

chatglm3无法运行 #105

Closed huaxin233 closed 1 month ago

huaxin233 commented 1 month ago

image 通过1.1.0的rkllm-toolkit转换的chatglm3运行报错 运行平台：鲁班猫4 chatglm3地址：https://www.kaggle.com/datasets/panggelia/zhipuaichatglm3-6b

waydong commented 1 month ago

hi, 1、尝试使用1.1.1的rkllm-toolkit重新转换模型； 2、chatglm3 6b模型比较大，w8a8类型最好保证可用内存在7G以上；3、如还有报错，请在板端执行dmesg，提供下日志信息哈。

huaxin233 commented 1 month ago

鲁班猫ssh_2024-10-21_14_40_29.log 回头看了下，拉的最新的代码，用的是1.1.1的rkllm-toolkit，请帮忙看下日志。

hi, 1、尝试使用1.1.1的rkllm-toolkit重新转换模型； 2、chatglm3 6b模型比较大，w8a8类型最好保证可用内存在7G以上；3、如还有报错，请在板端执行dmesg，提供下日志信息哈。

huaxin233 commented 1 month ago

hi, 1、尝试使用1.1.1的rkllm-toolkit重新转换模型； 2、chatglm3 6b模型比较大，w8a8类型最好保证可用内存在7G以上；3、如还有报错，请在板端执行dmesg，提供下日志信息哈。

image 不会真是内存的问题吧，加点swap还是把cache中的释放出来

waydong commented 1 month ago

hi, 此问题已经修复，近期更新1.1.2版本时会带上。当前转换模型时，可以把level设置为0，就不会报错。