Closed lockmatrix closed 11 months ago
增加stream_response_raw:
顺带增加了tokenizer的接口:
tokenizer已经存储在模型中,之前没有暴露给上层,不方便做某些基于token的计算。 现在同时暴露出来,并方便应用方因为其他原因调用。
其他: 看到 pybinding.cpp中暴露了 Tokenizer 类,但不知道怎么从一个model_id获取它的对象。
pybinding.cpp
Tokenizer
增加stream_response_raw:
顺带增加了tokenizer的接口:
tokenizer已经存储在模型中,之前没有暴露给上层,不方便做某些基于token的计算。 现在同时暴露出来,并方便应用方因为其他原因调用。
其他: 看到
pybinding.cpp
中暴露了Tokenizer
类,但不知道怎么从一个model_id获取它的对象。