Open artorias-gh opened 1 month ago
_SparkLLMClient在实例级别维护了一个接收大模型socket信息片段的queue。在多线程模式下共用同一_SparkLLMClient实例进行大模型调用时,并发触发on_message回调导致大模型回复片段按不确定时序被丢到同一个queue里,最终产生混杂的输出。
此外,目前似乎只实现了基于线程的异步,希望能加入基于事件的异步支持。
确实是这样,已知问题里说明了这点,近期我们会评估下你说的基于事件的异步支持,当然我们也欢迎有能力的同学pr。非常欢迎~
请问什么时候能解决,我单线程调用也会有这个问题。
_SparkLLMClient在实例级别维护了一个接收大模型socket信息片段的queue。在多线程模式下共用同一_SparkLLMClient实例进行大模型调用时,并发触发on_message回调导致大模型回复片段按不确定时序被丢到同一个queue里,最终产生混杂的输出。
此外,目前似乎只实现了基于线程的异步,希望能加入基于事件的异步支持。