Open jujunchen opened 3 weeks ago
可能是显存的原因,可以试下
lmdeploy chat /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --cache-max-entry-count 0.2
可能是显存的原因,可以试下
lmdeploy chat /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --cache-max-entry-count 0.2
还是一样的情况,0.1也试了
在 A100 单机上没有复现。 需要在 intern-studio 下验证 @jujunchen 方便把 lmdeploy/turbomind/chat.py 中的 os.environ['TM_LOG_LEVEL'] = 'ERROR' 改成 os.environ['TM_LOG_LEVEL'] = 'INFO',然后把执行日志贴上来么?
在 A100 单机上没有复现。 需要在 intern-studio 下验证 @jujunchen 方便把 lmdeploy/turbomind/chat.py 中的 os.environ['TM_LOG_LEVEL'] = 'ERROR' 改成 os.environ['TM_LOG_LEVEL'] = 'INFO',然后把执行日志贴上来么?
我是pip 安装的,没有源码
在 A100 单机上没有复现。 需要在 intern-studio 下验证 @jujunchen 方便把 lmdeploy/turbomind/chat.py 中的 os.environ['TM_LOG_LEVEL'] = 'ERROR' 改成 os.environ['TM_LOG_LEVEL'] = 'INFO',然后把执行日志贴上来么?
我从源码安装,发现可以对话了
Checklist
Describe the bug
lmdeploy chat /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 运行在studio 开发机上的10% A100,跑起来后,对话就发生Aborted (core dumped) 退出
Reproduction
lmdeploy chat /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b
Environment
Error traceback