Closed aofengdaxia closed 7 months ago
应该是119-120行
self.thread_local_obj.tokenizer_encode_string__output_buffer = None
self.thread_local_obj.tokenizer_decode_token__output_buffer = None
根据threading.local的设计,变量声明只在当前thread有效。
建议对 tokenizer_encode_string__output_buffer
和 tokenizer_decode_token__output_buffer
一并修改
报错的原因
当调用以下代码生成较长的内容的时候报错,特别是比如用Python写一个贪吃蛇,就会报错。
报错的原因
不是特别的清楚,好像是self.thread_local_obj中的内存被释放了。
解决的思路
只是判断了tokenizer_decode_token__output_buffer在self.thread_local_obj是否存在,经过反复测试不再报错