Closed ZenXir closed 1 year ago
这个语料 是使用claude生成的
@ZenXir 哈喽,请问你的模型进行推理和生成,有问题吗,我做生成,出来的结果都是有问题的。 关于generate生成的结果的问题
也是有问题 之前正常更新了后 有问题了
没有正常加载基础模型,是指lora加载进去找不到config之类的吗? interaction.sh那个脚本"if [ USE_LOCAL == 1 ]"这一块需要改成这样“if [ ${USE_LOCAL} == "1" ]”,1表示使用本地模型,之前打错了
interaction.sh 改成这样的 还是不加载base model
BASE_MODEL="/mnt/d/zllama_models/llama-7b-hf"
LORA_PATH="./lora-Vicuna/oldman_Edward" #"./lora-Vicuna/checkpoint-final"
USE_LOCAL=1 # 1: use local model, 0: use huggingface model
if [ ${USE_LOCAL} == "1" ]
then
cp ./config-sample/adapter_config.json $LORA_PATH
fi
CUDA_VISIBLE_DEVICES=2 python interaction.py \
--model_path $BASE_MODEL \
--lora_path $LORA_PATH \
--use_local $USE_LOCAL
@Facico 大佬老师,其它也报错 :interaciton.sh 不加载base model, chat.sh 和 generate.sh 可以加载base model 但加载后报错
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 33/33 [00:39<00:00, 1.19s/it]
Traceback (most recent call last):
File "/mnt/e/zcustom_finetune/Chinese-Vicuna/generate.py", line 110, in <module>
model.eval()
AttributeError: 'NoneType' object has no attribute 'eval'
使用了如下操作:
pip uninstall peft
pip install git+https://github.com/huggingface/peft@e536616888d51b453ed354a6f1e243fecb02ea08
bash interaciton.sh 没有报错(和原来一样),也仍是不加载base model bash chat.sh 提问,报错如下:
CUDA SETUP: Detected CUDA version 117
CUDA SETUP: Loading binary /root/anaconda3/envs/Chinese-Vicuna/lib/python3.9/site-packages/bitsandbytes/libbitsandbytes_cpu.so...
./lora-Vicuna/oldman_Edward/adapter_model.bin
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 33/33 [00:40<00:00, 1.23s/it]Running on local URL: http://127.0.0.1:7860
To create a public link, set `share=True` in `launch()`.
tcgetpgrp failed: Not a tty
Exception ignored in: <generator object wrapper at 0x7fc2e1c757b0>
Traceback (most recent call last):
File "/root/anaconda3/envs/Chinese-Vicuna/lib/python3.9/site-packages/anyio/_backends/_asyncio.py", line 862, in run
context, func, args, future = item
RuntimeError: generator ignored GeneratorExit
“没有报错信息,仍不加载base model”?你是怎么判断base_model的加载失败的,如果有那段Loading checkpoint shards:的话,应该是可以加载的,你把base_model换成"decapoda-research/llama-7b-hf"这个能加载吗
根据显卡显存的状态判断base model有无加载 bash interaction.sh 显存没有变化 正常应该使用 11G~12G之间
interaction.sh 改成这样 还是一样的
BASE_MODEL="decapoda-research/llama-7b-hf"
LORA_PATH="./lora-Vicuna/oldman_Edward" #"./lora-Vicuna/checkpoint-final"
USE_LOCAL=1 # 1: use local model, 0: use huggingface model
if [ ${USE_LOCAL} == "1" ]
then
cp ./config-sample/adapter_config.json $LORA_PATH
fi
CUDA_VISIBLE_DEVICES=2 python interaction.py \
--model_path $BASE_MODEL \
--lora_path $LORA_PATH \
--use_local $USE_LOCAL
用那个脚本 可以正常加载base model 和 生成大佬老师 我正在检查interaction.py文件 是什么地方出的问题
interaction.sh 内容如下:
oldman_Edward 是自己finetune出来的一个测试lora模型
使用的测试语料内容如下,参数,prompt所有都是默认,无改动: