-
chatglm2_loar运行错误,提示glm2没有实现这个方法
model.enable_input_require_grads() NotImplementedError
-
我分别对ChatGLM2-6B原始模型、chatglm2-6b-int4.flm模型单卡部署、chatglm2-6b-int4.flm模型多卡部署推理速度做了对比:
ChatGLM2-6B 原始模型推理速度为 `100 token/s` 左右
chatglm2-6b-int4.flm模型单卡部署推理速度为 `220 token/s` 左右
chatglm2-6b-int4.flm模型多卡…
-
### What would your feature do?
chatglm2-6b可以翻译日->中,英->中。
chatglm2-6b的地址:https://github.com/THUDM/ChatGLM2-6B
chatglm2-6b使用int8来运行,rtx3060显存占用是11.5GB,并且在多轮短对话后显存占用稳定不增加。
因此可以实现场景:用cpu运行manga-ima…
-
**问题描述 /使用autoDL镜像启动项目加载本地知识库对话报错
用简洁明了的语言描述这个问题 / Describe the problem in a clear and concise manner.
**复现问题的步骤 / Steps to Reproduce**
1. 执行 'bash startup.sh'
2. 问题出现 / 配置完知识库之后无法正常对话,对话报错
*…
-
Hi,
When I try to run "FinGPT_Training_LoRA_with_ChatGLM2_6B_for_Beginners.ipynb" in google colab, I came aross a problem.
The code is
model_name = "THUDM/chatglm2-6b"
tokenizer = AutoToke…
-
### Code:
```python
from bigdl.llm.transformers import AutoModel
from transformers import AutoTokenizer
model = AutoModel.from_pretrained("./checkpoints/chatglm2-6b-32k/",
…
-
### System Info / 系統信息
>>> print(torch.__version__)
2.3.1+cu121
>>> print(torch.version.cuda)
12.1
>>> print(torch.backends.cudnn.version())
8902
>>> print(transformers.__version__)
4.43.2
>…
-
我在树莓派3b+上运行chatglm2,无法打开模型,请问这种情况怎么解决?
`main: seed = 1715851844
Assert ' m_file ' failed at file : /home/dominic/project/InferLLM-main/src/file.cpp
line 10 : inferllm::InputFile::InputFile(const st…
-
编译后和原版的chatglm2-6b,输出不一致。是因为q4_0参数导致的吗?请问具体怎么理解这个参数
python3 chatglm_cpp/convert.py -i THUDM/chatglm2-6b -t q4_0 -o chatglm2-ggml.bin
-
显卡为4090,系统Ubuntu 22.04
驱动和CUDA
Driver Version: 550.54.15 CUDA Version: 12.4 python 3.10
尝试用chatglm2、chatglm3、qwen1.5均只能输出
![image](https://github.com/ztxz16/fastllm/assets/8828385/bb7e8be8-7…