Open tpoisonooo opened 2 months ago
看了眼 Court View 以为有别的含义 qaq
这个肯定是不能的,因为Kimi不是一对一而是公用的,点击Kimi之后算力已经花出去了,如果强行中断什么都没保存下来,那就是纯粹的浪费。
原来的想法是,prefill 省不下来;至少 generate 长度省下了。
考虑 generate 比 prefill 短很多,似乎不 cancel 更合理。
存下来后,只要后面还有人点,那就不是浪费,如果直接中断,那就肯定是浪费。
另外就是从公用的设计来说,也不可能对用户开放终止权限,否则全乱套了。
例如这篇,看完 intro 想停止生成。是否考虑加个取消功能。
例如点击 [Generating] 会 cancel。