Open cjfcsjt opened 1 month ago
你好。我看到文档中支持offline inference模式下,得到input logprob。请问api server部署方式下支持吗?如果不支持,请问近期会有plan吗?
No response
input_token 不支持 server 的形式。
output_token 可以通过 openai 接口中的 logprobs 和 top_logprobs 字段来使用。
logprobs
top_logprobs
Motivation
你好。我看到文档中支持offline inference模式下,得到input logprob。请问api server部署方式下支持吗?如果不支持,请问近期会有plan吗?
Related resources
2041
Additional context
No response