Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 421 forks source link

Vicuna.cpp 衍生自 Llama.cpp 还是 Alpaca.cpp? 基于 Alpaca 和 Llama 中文embedding后 finetune出来的模型会通用吗? #33

Closed ZenXir closed 1 year ago

ZenXir commented 1 year ago

Vicuna.cpp

Vicuna.cpp 衍生自 Llama.cpp 还是 Alpaca.cpp?
基于 Alpaca 和 Llama 中文embedding后 finetune出来的模型会通用吗?

LZY-the-boys commented 1 year ago

参考了Alpaca.cpp。模型是否通用和在finetune的时候的prompt有关,如果使用了和llama/alpaca一样的prompt,理论上是通用的。中文embedding因为替换了token的含义,对直接使用不同embedding训练出来的lora可能是有影响的,因为目前还没人公开基于llama的中文embedding,所以我们也无从验证

ZenXir commented 1 year ago

我机器正在跑基于embeding后的模型finetue 预计明天下午finetune好,明天可以看看效果

你说的 和finetune时的prompt有关,可以帮详细解释下吗?

LZY-the-boys commented 1 year ago

见finetune.py里边的generate_prompt:

f"""Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
{data_point["instruction"]}

### Response:
{data_point["output"]}"""
ZenXir commented 1 year ago

是的 看了这个 基本都差不多 你说的差异 具体是什么大佬?

LZY-the-boys commented 1 year ago

就是你如果训练用的不同的prompt,然后在生成的时候还是用的默认的prompt,效果就不一样了

ZenXir commented 1 year ago

好的 我确认下 应该是一样的 前两天我简单跑了个用例