-
### Prerequisite
- [X] I have searched [Issues](https://github.com/open-compass/opencompass/issues/) and [Discussions](https://github.com/open-compass/opencompass/discussions) but cannot get the ex…
bullw updated
6 months ago
-
### Is there an existing issue for this?
- [X] I have searched the existing issues
### Current Behavior
想测一下这些模型:chatglm2-6b-32k chatglm2-6b-base chatglm2-12b-base 找不到国内可下载的地址。
### Expected Beh…
-
你好,我用4张12g 3080ti想跑chatglm2微调,但是报显存不足; 使用你列的只需14G显存的参数后也不行;使用int8加载模型后在训练时报了oom。 上面都是在模型并行参数开启下跑的。
在关闭模型并行参数时,也会在训练时报oom, 这时候只会用到一张卡。
请问这种情况正常吗,我该如何解决呢?
-
声明export SERPAPI_KEY=“***********************************”后执行如下:
![image](https://github.com/THUDM/WebGLM/assets/88723510/ceb3ccbe-71ac-4e3b-b231-8276e20429d0)
GPU加载为13GB,是chatglm2-6B模型。
![im…
-
when i try to test tensor_parrallel with chatglm2-6B, something went wrong.
![image](https://github.com/NVIDIA/TensorRT-LLM/assets/83857604/737df276-cbd6-49d0-938f-2d2ba594cc6c)
-
推断没问题,是否支持训练微调?(我尝试时,尚不支持)
-
你好 博主!
我使用lora进行微调ChatGLM2-6B会出现这样的错误
但是使用ptuning不会,你知道是什么原因吗,求解。
![image](https://github.com/beyondguo/LLM-Tuning/assets/131762142/0cc218ad-7f5a-452b-9e28-10b6c8485045)
-
### Your current environment
Env: CPU device
vllm: 0.4.2+cpu
```python
from vllm import LLM
import torch
prompts = ["你好"]
llm1 = LLM(model="/home/zhenzhong/model/chatglm2-6b", trust_remote_…
-
### Is there an existing issue for this?
- [X] I have searched the existing issues
### Current Behavior
使用4bit量化模型进行全参数微调,使用evaluate_finetune.sh脚本加载相应的checkpoint路径时报告错误。
### Expected Behavior
_No…
-
8af372aacd93a\modeling_chatglm.py", line 542, in forward
attention_output, kv_cache = self.self_attention(
File "D:\ChatGLM2-Voice-Cloning\env\lib\site-packages\torch\nn\modules\module.py", li…