Vicuna.cpp 衍生自 Llama.cpp 还是 Alpaca.cpp？ 基于 Alpaca 和 Llama 中文embedding后 finetune出来的模型会通用吗？

[ZenXir]

Vicuna.cpp

Vicuna.cpp 衍生自 Llama.cpp 还是 Alpaca.cpp？
基于 Alpaca 和 Llama 中文embedding后 finetune出来的模型会通用吗？

[LZY-the-boys]

参考了Alpaca.cpp。模型是否通用和在finetune的时候的prompt有关，如果使用了和llama/alpaca一样的prompt，理论上是通用的。中文embedding因为替换了token的含义，对直接使用不同embedding训练出来的lora可能是有影响的，因为目前还没人公开基于llama的中文embedding，所以我们也无从验证

[ZenXir]

我机器正在跑基于embeding后的模型finetue 预计明天下午finetune好，明天可以看看效果

你说的 和finetune时的prompt有关，可以帮详细解释下吗？

[LZY-the-boys]

见finetune.py里边的generate_prompt:

f"""Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
{data_point["instruction"]}

### Response:
{data_point["output"]}"""

[ZenXir]

是的 看了这个 基本都差不多 你说的差异 具体是什么大佬？

[LZY-the-boys]

就是你如果训练用的不同的prompt，然后在生成的时候还是用的默认的prompt，效果就不一样了

[ZenXir]

好的 我确认下 应该是一样的 前两天我简单跑了个用例