你好，微调后，提问一些别的问题会出现<UNK>

shuxueslpi / chatGLM-6B-QLoRA

使用peft库，对chatGLM-6B/chatGLM2-6B实现4bit的QLoRA高效微调，并做lora model和base model的merge及4bit的量化（quantize）。

350 stars 46 forks source link

Open SinLT opened 1 year ago

SinLT commented 1 year ago

shuxueslpi commented 1 year ago

@SinLT 本来在chatglm-6b时发现了这个问题，chatglm2-6b我微调后用同样的问题测了一下，没出现这样的异常。但你这么一说，我刚刚查了下，好像我的训练数据里有大量，等我空了，我重新检查下这块的数据，感觉有问题。

hemengjita commented 1 year ago

数据集的问题数据集有大量删掉就行