-
### Describe the Question
sh run_sft.sh 出现
![image](https://github.com/shibing624/MedicalGPT/assets/20908110/33e57d2f-4533-478f-afa8-c490f2e6cd9d)
-
显示缺少文件
Traceback (most recent call last):
File "merge_peft_adapter.py", line 100, in
main()
File "merge_peft_adapter.py", line 77, in main
tokenizer = tokenizer_class.from_pretrained…
-
感谢作者的工作,我在加载模型时,使用 load_in_8bit=True, 实验效果不符合预期,
加载代码如下: 增加了 load_int_8bit = True 参数
model = LlamaForCausalLM.from_pretrained(ziya_model_dir, device_map='auto', load_in_8bit=True)
tokenizer = Llam…
-
在sft.py 的
769行开始德循环内logger.warning(f"tokenization mismatch: {cur_len} vs. {total_len}. (ignored)") 这里
cur_len 一直为1
| WARNING | __main__:preprocess_function:813 - tokenization mismatch: 1 vs. 81.…
-
### merge_peft_adapter.py
在對 baichuan13B 做 merge的時候出現了
`Traceback (most recent call last):
File "merge_peft_adapter.py", line 110, in
main()
File "merge_peft_adapter.py", line 93, in…
-
感谢作者。想按您的项目中的资料来尝试全流程,已经基于Ziya-LLaMA-13B-v1做了Lora的增量预训练,然后按文档将第一阶段的Lora和Base模型合并
python merge_peft_adapter.py \
> --base_model_name_or_path ~/Ziya-LLaMA-13B-v1/ \
> --peft_model_path ~/MedicalG…
-
容易出现无法回答的情况。
比如问:
高血压,吃了拜新同头疼怎么办?
会没有响应。
用的是 https://huggingface.co/WHJ1998/Ziya-LLaMA-13B-v1 这个合并好的基础权重(如果有问题我试试自己合并一次,如果你能给出合并后的sha256更好)
用下列参数启动的:
```
python gradio_demo.py --model_typ…
-
│ 1892 │ │ │ │ │ │
│ …
-
### Describe the Question
Please provide a clear and concise description of what the question is.
I notice that the pretrain data downloaded from the Hub is organized into JSON format, with each l…
-
使用inference.py,发现结果异常
`python inference.py --model_type llama --base_model IDEA-CCNL/Ziya-LLaMA-13B-v1 --lora_model shibing624/ziya-llama-13b-medical-lora --with_prompt --interactive`
下载bas…