iflytek / spark-ai-python

星火大模型 python sdk库
MIT License
203 stars 11 forks source link

SparkClient单实例多并发时产生混杂输出 #26

Open artorias-gh opened 1 month ago

artorias-gh commented 1 month ago

_SparkLLMClient在实例级别维护了一个接收大模型socket信息片段的queue。在多线程模式下共用同一_SparkLLMClient实例进行大模型调用时,并发触发on_message回调导致大模型回复片段按不确定时序被丢到同一个queue里,最终产生混杂的输出。

此外,目前似乎只实现了基于线程的异步,希望能加入基于事件的异步支持。

whybeyoung commented 1 month ago

确实是这样,已知问题里说明了这点,近期我们会评估下你说的基于事件的异步支持,当然我们也欢迎有能力的同学pr。非常欢迎~

BrightXiaoHan commented 1 week ago

请问什么时候能解决,我单线程调用也会有这个问题。