-
你好,我用4张12g 3080ti想跑chatglm2微调,但是报显存不足; 使用你列的只需14G显存的参数后也不行;使用int8加载模型后在训练时报了oom。 上面都是在模型并行参数开启下跑的。
在关闭模型并行参数时,也会在训练时报oom, 这时候只会用到一张卡。
请问这种情况正常吗,我该如何解决呢?
-
如题,作者有计划吗
-
chatglm2 will report an error on the latest version branch
![image](https://github.com/triton-inference-server/tensorrtllm_backend/assets/58454582/2a04b956-81da-4d6b-acb3-63f97969bd53)
-
感谢您参与 X2Paddle 社区! 问题模版为了 X2Paddle 能更好的迭代,例如新功能发布、 RoadMaps 和错误跟踪. :smile_cat:
## 问题描述
- 错误信息
ValueError: This protobuf of onnx model is too large (>2GB). Call check_model with model path inste…
-
ps:先去国内的 [aliendao](https://aliendao.cn/models) 镜像地址下载。
如果上面链接没有你要的地址, 本着我为人人 人人为我。 你可以按照下面的链接分享:
请按照下面的格式分享对应模型链接:
eg:
模型id: THUDM/chatglm2-6b-int4
源链接:https://huggingface.co/THUDM/chatgl…
-
我按照您的指导,逐步执行了cpu版本上转换tensorRT的步骤,一切都很顺利。但是当我运行demo.py时,却出现了以下的错误,请问是什么原因呢?
(tensorRT) user@lsp-ws:~/data/ChatGLM2-6B-TensorRT$ python demo.py
INFO: Loaded engine size: 11916 MiB
INFO: [MemU…
-
### Is there an existing issue for this?
- [X] I have searched the existing issues
### Current Behavior
No matter what I try, there is always this damn Segmentation fault: 11
Please tell me who …
-
您好,我有一些文件想构造指令数据来微调chatglm模型,构造类似QA的**指令**数据,不是构造对话数据,是不是就把下面这个his改一下?
https://github.com/threeColorFr/LLMforDialogDataGenerate/blob/36bad9b74e6b447a446752793617c6efceb04d74/doc2conv_chatglm2/batch_c…
-
Load pre-trained model ChatGLM2-6B to support multi-round conversation. If the return_past_key_values is enabled in stream_chat() then it reports error like below. Attached code to reproduce.
Trac…
-
python代码直接加载模型调用
![image](https://github.com/ztxz16/fastllm/assets/35361034/e1ffbd23-2f2a-4f5d-8f82-e75c391feb36)
Explicitly passing a `revision` is encouraged when loading a model with custom cod…