Open xinaiwunai opened 7 months ago
两行加速目前不适用于openai_api_demo。
openai_api_demo 调用模型时使用的是 model.stream_generate() ,目前fastllm_pytools只实现了chat()
和stream_chat()
。
fastllm_pytools中llm不依赖torch,也没有实现依赖pytorch对象(如Tensor
)的j接口。比如 generate
和stream_generate
。
具体到这两个参数上:
model.device
,阅读源码就会发现,inputIds输入后也只会在CPU上。可以按照 stream_response_raw
接口修改。
使用文档中的增加2行的方式,插入ChatGLM3的官方openai_api_demo的脚本。
导致报错:
‘model’ object hasno attribute 'device'
所以建议对python调用的model增加model.device 接口; 同理,建议增加 model.config.seq_length 接口。