search

Xunzi-LLM-of-Chinese-classics / XunziALLM

Apache License 2.0
229 stars 22 forks source link

关于做进一步微调Xunzi-Qwen-7B-CHAT的框架 #5

Open yuzicx opened 6 months ago

yuzicx commented 6 months ago

老师，您好，我使用qwen的框架进一步微调Xunzi-Qwen-7B-CHAT后，得到的模型会无限生成，不会自动暂停，并且会产生拉丁字符等不需要的字符。

我用同样的数据和方法微调qwen-7B-CHAT则不会有这样的问题。 我之前曾遇到过，使用llama-factory再预训练qwen的模型无法用qwen的框架进一步微调，而需要用llama-factory来微调。

所以我猜测可能是训练框架的问题，不知道老师在预训练和微调qwen得到荀子模型的过程中，用的是什么框架，是否有需要注意的地方。

ChenZiHong-Gavin commented 5 months ago

老师，您好，我使用qwen的框架进一步微调Xunzi-Qwen-7B-CHAT后，得到的模型会无限生成，不会自动暂停，并且会产生拉丁字符等不需要的字符。

我用同样的数据和方法微调qwen-7B-CHAT则不会有这样的问题。 我之前曾遇到过，使用llama-factory再预训练qwen的模型无法用qwen的框架进一步微调，而需要用llama-factory来微调。

所以我猜测可能是训练框架的问题，不知道老师在预训练和微调qwen得到荀子模型的过程中，用的是什么框架，是否有需要注意的地方。

你是使用的全量微调吗？我正在进行LoRA微调，也遇到了类似的结果。你在训练的时候loss正常吗？

yuzicx commented 5 months ago

老师，您好，我使用qwen的框架进一步微调Xunzi-Qwen-7B-CHAT后，得到的模型会无限生成，不会自动暂停，并且会产生拉丁字符等不需要的字符。 我用同样的数据和方法微调qwen-7B-CHAT则不会有这样的问题。 我之前曾遇到过，使用llama-factory再预训练qwen的模型无法用qwen的框架进一步微调，而需要用llama-factory来微调。 所以我猜测可能是训练框架的问题，不知道老师在预训练和微调qwen得到荀子模型的过程中，用的是什么框架，是否有需要注意的地方。

你是使用的全量微调吗？我正在进行LoRA微调，也遇到了类似的结果。你在训练的时候loss正常吗？

我是使用LoRA微调，在训练时loss正常下降

ChenZiHong-Gavin commented 5 months ago

老师，您好，我使用qwen的框架进一步微调Xunzi-Qwen-7B-CHAT后，得到的模型会无限生成，不会自动暂停，并且会产生拉丁字符等不需要的字符。 我用同样的数据和方法微调qwen-7B-CHAT则不会有这样的问题。 我之前曾遇到过，使用llama-factory再预训练qwen的模型无法用qwen的框架进一步微调，而需要用llama-factory来微调。 所以我猜测可能是训练框架的问题，不知道老师在预训练和微调qwen得到荀子模型的过程中，用的是什么框架，是否有需要注意的地方。

你是使用的全量微调吗？我正在进行LoRA微调，也遇到了类似的结果。你在训练的时候loss正常吗？

我是使用LoRA微调，在训练时loss正常下降

我使用的是XunziALLM预训练模型，用的Qwen的框架，使用Qwen1.8B与7B时训练正常，使用xunzi模型在第二轮的loss会直接降到0，我猜测是xunzi模型经过二次预训练造成的原因

lclcjj commented 5 months ago

建议使用llama-factory框架进行微调，使用chatml对话模板