-
我相信langchain是可以调用的,给一个例子?
-
您好,我在测试此源码的时候遇到几个问题,测试选用codegeex2-6b模型权重,没有量化,3090单卡推理,修改了模型加载.half精度,但在代码输出上有以下几种现象:
1.output输出会重复输入prompt:
![image](https://github.com/THUDM/CodeGeeX2/assets/52264659/f9a8331b-c101-47a9-a3b4-ac6b8…
-
我运行huggingface上的示例代码,我在prompt中选择了其他语言,比如:SQL、Java,但是生成的还是Python代码
-
-
代码如下:
import torch
from modelscope import AutoModel, AutoTokenizer
model_id = 'ZhipuAI/codegeex2-6b'
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoMode…
-
as topic
temperature=0.2, max_new_tokens=4097
-
先用chatglm2-6b生成fp16.flm和int4.flm,然后分别测速:
cuda:11.6
GPU:matrox g200eh3
batch=1
测速代码:
start = time.time()
text = "中国法定货币是什么?"
outs = ""
for i in range(10):
out = model.response(text)
…
-
我使用chatglm_export进行导出,发现导出的和原有的模型是一样的,有办法把ptuning微调的参数导出吗
-
### Environment
```markdown
- OS: macos Ventura 13.2.1
- Python: 3.11
- Transformers: 4.30.2
- PyTorch: 2.0.1
- CUDA Support: False
```
### Current Behavior
使用 Mac M2Max 进行推理异常:
1. 内存最高吃…
-
**测试环境:**
华为Atlas 800 (9000) 服务器
CPU:HiSilicon Kunpeng 920 5250 48 cores 2.60GHz * 4
MEM:768GiB DDR4
OS:OpenEuler 22.03 LTS
编译环境 gcc 10.3.1 cmake 3.22.6 python 3.8.5
**测试方法:**
```bash
/…