为什么RKLLMResult *result, result -> num. 这个参数没给赋值啊，我想测一下每秒生成多少tokens，应该怎么做？ - Githubissues

airockchip / rknn-llm

Other

347 stars 29 forks source link

为什么RKLLMResult *result, result -> num. 这个参数没给赋值啊，我想测一下每秒生成多少tokens，应该怎么做？ #51

Open 17656178609 opened 4 months ago

MosRat commented 3 months ago

那个num应该是计数概率的，没开输出概率就是0，想要计数Token可以在callback计数，文档写了保证一个Token调用一次callback