-
```
{
"chatglm2-6b": {
"enable": True,
"work_mode": "deepspeed", # one of deepspeed,accelerate,hf
"workers": [
{
"device_id": [0,1,2,3] # 默…
-
您好，
在使用当中，训练得到lora权重与项目耦合性太强，不能被huggingface的 peft 库加载，使用具有不便性。
能否把训练的lora权重保存为 peft 支持的权重格式？
-
报错信息如下：
2023-08-24 16:56:58 Traceback (most recent call last):
2023-08-24 16:56:58 File "./serving/main.py", line 16, in
2023-08-24 16:56:58 from serving.serve.api_serving import global_inst…
-
### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?
- [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions
### 该问题是否在FAQ中有解答？ | Is there an existing…
-
微博内容精选
-
### Is there an existing issue for this?
- [X] I have searched the existing issues
### Current Behavior
在部署时, 多次出现的…
-
系统: WSL2
1. 准备了一个空虚拟环境, 选用传统索引方式, 安装依赖`requirements-sy.txt`;
2. 运行`run_data_processing.sh`, 无问题;
3. 运行`run_GLM6B.sh`, 提示没有安装`torch`, 于是安装;
4. 运行`run_GLM6B.sh`, 报错`RuntimeError: Internal: src/se…
-
### Explain what happens
When I used the 300 version of cockit, everything was normal, but when I upgraded to 303, an error occurred：
```
cockpit.http({
"address": "",
"p…
-
使用步骤如下：
1. git clone本仓库
2. 配置python环境，并pip install所有requirements
3. 下载chatglm-6b-int4模型
4. 在config.xml中修改Path以及Strategy（cpu fp16）
5. 运行glm6b