Closed aofengdaxia closed 7 months ago
FileBuffer.ReadString error std::bad_alloc
有可能是chatglm3-6b-int4.flm文件错误导致的, 但不能排除 big endian / little endian 或其他原因。
为排除文件影响错误,可以试下这个版本:
链接: https://caiyun.139.com/m/i?115CejW9DWMfy 提取码: vzgL
我使用LLaMA-factory在双卡4090上把cut_len调整为2048后,就很容易出现这个情况,但是如果在单卡L40上,就没有出现类似问题。不知道是fastllm的问题,还是LLaMA-factory的问题
我使用chatGLM的transformers代码进行推理,没有报错。
直接执行
执行代码
报错如下:
python执行
同一台电脑,使用Python测试,代码如下
报错信息如下:
电脑硬件,2019年最后一批intel macbook pro ,内存16G