-
-
您好，请问如何通过Llama.cpp对Knowlm进行量化，能否提供一下具体步骤，谢谢您的解答。
-
**Describe the question**
> 想使用多张GPU加载OneKE模型，但是均无效
CUDA_VISIBLE_DEVICES=0,1 或者CUDA_VISIBLE_DEVICES="0,1" inference.py
**Environment (please complete the following information):**
- OS: [u…
-
环境：
vllm版本: 0.5.0.post1
执行命令：
`CUDA_VISIBLE_DEVICES=4,5 /data/anaconda3/envs/knowlm/bin/python -m vllm.entrypoints.openai.api_server --model /data/knowlm/zjunlp/OneKE --dtype auto --api-key toke…
-
```
(knowlm) xiaomii@ubuntugpu:~/KnowLM$ CUDA_VISIBLE_DEVICES=0,1,2,3 python examples/generate_lora_web.py --base_model zjunlp/knowlm-13b-zhixi
Traceback (most recent call last):
File "/home/data…
-
请问这三者是什么关系呢？多谢
-
报错内容如下：
File "/home/pai/lib/python3.11/site-packages/transformers/tokenization_utils_base.py", line 1203, in unk_token_id
return self.convert_tokens_to_ids(self.unk_token)
^^^^^^^^^^…
-
您好，请问能否提供该模型ner和re指令训练数据集所用到的所有实体类型和关系类型，非常感谢您的帮助
-
您好，项目里面有关于Rouge-2评估关系抽取结果的代码嘛？想要借鉴一下
-
请问何时开源7b的zhixi大模型