Closed YMMF007 closed 1 month ago
I added to inference.py: torch.set_float32_matmul_precision("high")
Thanks!
正常的,进度条的总长度是推理的最长,默认2048,不过扩展到最大也无所谓,进度条结束的长度就是实际有多少组token就说完啦
噢噢噢噢,谢谢~
------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2024年9月10日(星期二) 下午2:26 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [gpt-omni/mini-omni] 运行server.py,进度条只加载到4%,这正常吗 (Issue #62)
正常的,进度条的总长度是推理的最长,默认2048,不过扩展到最大也无所谓,进度条结束的长度就是实际有多少组token就说完啦
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>