Closed hdjghjb closed 1 year ago
两张2080ti 运行zsh chat_7B.sh脚本后成功启动gradio,可以正常聊天,但聊几句后报cuda out of memory,不知道有没有方法改善?如果只聊两三句话就无法运行,有不便利的地方。
两张2080ti 运行zsh chat_7B.sh脚本后成功启动gradio,可以正常聊天,但聊几句后报cuda out of memory,不知道有没有方法改善?如果只聊两三句话就无法运行,有不便利的地方。