Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 421 forks source link

Chinese-Vicuna-medical 可以直接使用吗?如何直接使用 #105

Closed rdaim closed 1 year ago

rdaim commented 1 year ago

Chinese-Vicuna-medical 可以直接使用吗?如何直接使用

Facico commented 1 year ago

和其他lora模型一样加载就行了

bash99 commented 1 year ago

我加载了测试后,效果没有 performance-medical.md 那样啊?

lora用的是 https://huggingface.co/Chinese-Vicuna/Chinese-Vicuna-continue-finetune-7epoch-cMedQA2 llama-7b-hf权重是 两个bin文件的版本,9.3G和3.3G

937521a4055177a7443e601c87adc23299533c80299f8637d9e35000b726e4ef  pytorch_model-00001-of-00002.bin
20e0016147f3373ed154e65d65865d4988cadfa128883425dc392db19b50cc71  pytorch_model-00002-of-00002.bin

改了chat.py,启动如下

 python chat.py --model_path /DaTa/llama-7b-hf --lora_path /DaTa/chinese-vic-med/Chinese-Vicuna-continue-finetune-7epoch-cMedQA2 --use_local 1 --use_typewriter 0 --share_link 0

debug最后的输入和输出(tokenizer之前): input

The following is a conversation between an AI assistant called Assistant and a human user called User.

### Instruction:
扮演一个专业的医生并回答病人的问题。
病人:扁桃体炎引起的发烧该怎么治疗

### Response:

output(去掉input重复的部分)

1.这种情况建��你可以口服抗��片,��适量多����外擦止��痒
2.对于扁桃体炎��症是由于感染或其他原因引起的局部炎��症,主要表现为红肿、皮疹、瘙��、水肿等����性皮炎形式,常在夏��年初到秋��之间持续而不消除,如果长期不及时治��则会导致皮��痕变成大��������痣�������������������������������������������������������������

另外,如果在vicuna 13b 1.1上训练,是不是中文效果也会可以?

Facico commented 1 year ago

你这个乱码问题可能在加载任何中文的lora模型都会有,可能有以下原因: 1、tokenizer和sentencepiece版本的问题,这个问题可以参考我们的提供的配置 2、显卡和8bit不兼容的问题。比如V100就不太兼容(可以到仓库找相关的V100的问题)(这个问题可以用纯cpu推理的方式来排查) 解决方法是推理的时候把8bit相关的去掉改成fp16,相关的issue有说明 在vicuna 13b 1.1上训练应该也会有不错的效果