li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4
MIT License
2.84k stars 327 forks source link

请教下,我在iOS上执行推理代码,主线程没问题,但是我开一条子线程来执行推理代码,就会Crash,难道ChatMessage Pipeline::chat不支持在子线程运行吗? #250

Open HoodL opened 6 months ago

HoodL commented 6 months ago

看函数调用栈,是崩溃在chatglm.cpp第480行int BaseModelForCausalLM::generate_next_token这个函数入口,还没进入这个函数体内部就崩溃了。再看系统内核的汇编代码:在libsystem_pthread.dylib里的代码崩溃在 ldur x11, [x11, #-0x8]这一行,报错:Thread 10:EXC_BAD_ACCESS (code=2, address=0x16bedfff8),好像是从内存地址中加载一个 64 位的值到寄存器出现异常了。 image