search

Grt1228 / chatgpt-steam-output

Open AI ChatGPT流式输出。Open AI Stream output. ChatGPT Stream output.GPT-3.5
461 stars 173 forks source link

OpenAISSEEventSourceListener里面的token计算数量跟TikTokensUtil.tokens计算结果不一致？ #26

Open tanxiuguang opened 1 year ago

tanxiuguang commented 1 year ago

把onEvent里的回答拼接成一个字符串，用TikTokensUtil.tokens得出的记过比OpenAISSEEventSourceListener里累加的token要多10%，不太明白为什么要采用累加的方法计算token？