[Feature] api server部署方式下的logprob功能

[cjfcsjt]

Motivation

你好。我看到文档中支持offline inference模式下，得到input logprob。请问api server部署方式下支持吗？如果不支持，请问近期会有plan吗？

Related resources

2041

Additional context

No response

[irexyc]

input_token 不支持 server 的形式。

output_token 可以通过 openai 接口中的 logprobs 和 top_logprobs 字段来使用。