流模式下的token计算不正确

[wangjueszu]

gpt-4o-2024-08-06模型-流模式 提问：谁便写100字吧（共计5个汉字，3个数字） 回答：在一个宁静的村庄，四周环绕着青山绿水，村民们过着简单而快乐的生活。清晨，太阳刚刚升起，金色的阳光洒在田野上，农夫们已经开始了一天的劳作。村里的孩子们在小河边嬉戏，欢声笑语回荡在空气中。傍晚时分，炊烟袅袅升起，家家户户都在准备晚餐。夜幕降临，星星点缀在漆黑的天空中，村庄恢复了宁静。人们在这片土地上世代耕耘，珍惜着大自然的馈赠，享受着平凡而充实的生活。（共计154个汉字，18个字符）

日志显示：提示13，补全167；补全部分明显不符合答案的字数。 更多案例就不上传了，请求修正。

[HynoR]

token 不是字数的意思啊，麻烦去了解一下Tokenizer的意思。 https://platform.openai.com/tokenizer

另外你这段话就是167token，没有问题。 来自Token 计算器： https://gpt-tokenizer.dev/