-
目前做了基本测试，希望能有一个 openai api 兼容版本可以集成第三方程序，谢谢
-
希望可以提供zero-shot的完整测评代码，或者提供prompt示例
我自己本地通过docker部署yi-34b-chat-4bit模型，测试得到的平均分数只有58.5，
各项小分为：50.7/ 71.3/ 64.5/ 55.3 （STEM/社科/人文/其他）
docker部署参考链接为：
https://github.com/ssbuild/aigc_serving
…
-
Traceback (most recent call last):
File "/data/aigc_serving/serving/workers/llm_worker.py", line 132, in run_once
node = self.api_client.trigger(r)
File "/data/aigc_serving/serving/model_ha…
-
参考链接：https://huggingface.co/01-ai/Yi-34B-Chat-4bits
十分感谢
-
我在一台4090机器上使用docker部署BlueLM 模型
把模型文件通过文件挂载的方式传入了容器的 /aigc_serving/model 路径下：
config.yaml是这么写的：
```
# 配置多个模型
# 每个模型可以配置多个worker,
# 非 hf 工作模式 每个worker可以配置多个device_id
serve_args:
host: 0.0.…
-
具体报错信息如下：
Traceback (most recent call last):
File "", line 1, in
File "D:\ProgramData\Anaconda3\envs\aigc_serving\lib\multiprocessing\spawn.py", line 116, in spawn_main
exitcode = _main(f…
-
不管是docker部署还是本地部署，我的模型权重始终没有加载进GPU
我的config.yaml文件如下：
```
# 配置多个模型
# 每个模型可以配置多个worker,
# 非 hf 工作模式 每个worker可以配置多个device_id
serve_args:
host: 0.0.0.0
port: 8081
# http 工作进程
workers:…
-
想使用你的项目加载其他项目通过pedf库保存的lora权重来搭建服务，不能加载，希望可以支持
-
AttributeError: 'LoraModule' object has no attribute 'add_adapter'
AttributeError: 'MyTransformerChatGlmLMHeadModel' object has no attribute 'add_adapter'
定位：
https://github.com/ssbuild/deep_trai…
-
### 提交前必须检查以下项目 | The following items must be checked before submission
- [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。 | Make sure you are using the latest code from the repository (git pull), some issue…