search

Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 425 forks source link

关于中断训练继续训练。 #258

Open xxyNeepu opened 5 months ago

xxyNeepu commented 5 months ago

我继续训练，设置好参数后，报这个错误，请问大佬们怎么回事呀 微信图片_20240305142408

Facico commented 5 months ago

你数据的问题吧，你看一下你的数据到底有没有东西

xxyNeepu commented 5 months ago

你数据的问题吧，你看一下你的数据到底有没有东西 有数据，数据里面有东西，两次训练的数据是一样的 佬

Facico commented 5 months ago

哦，是你的数据量太小了，当时打了一个检测tokenizer有没有问题的代码。你把finetune_chat.py的122-127行注释掉就好了

xxyNeepu commented 5 months ago

哦，是你的数据量太小了，当时打了一个检测tokenizer有没有问题的代码。你把finetune_chat.py的122-127行注释掉就好了

数据就是咱们GITHUB里面的链接下载的marge.json。我试一试大佬。

xxyNeepu commented 5 months ago

哦，是你的数据量太小了，当时打了一个检测tokenizer有没有问题的代码。你把finetune_chat.py的122-127行注释掉就好了

大佬，我试了，还是报错，给您看，我注释的地方截图和报错截图 微信图片_20240305151514 微信图片_20240305151520

Facico commented 5 months ago

finetune_chat用这个数据：https://huggingface.co/datasets/Chinese-Vicuna/instruct_chat_50k.jsonl merge那个数据用这个代码：finetune.py 相关的脚本在这里：https://github.com/Facico/Chinese-Vicuna/tree/master/scripts

xxyNeepu commented 5 months ago

finetune_chat用这个数据：https://huggingface.co/datasets/Chinese-Vicuna/instruct_chat_50k.jsonl merge那个数据用这个代码：finetune.py 相关的脚本在这里：https://github.com/Facico/Chinese-Vicuna/tree/master/scripts

我运行错脚本了是吧大佬

Facico commented 5 months ago

嗯，对话和普通SFT的数据格式不一样

xxyNeepu commented 5 months ago

嗯，对话和普通SFT的数据格式不一样

那最后训练好，弄那个网页出问答，需要训练那个？

Facico commented 5 months ago

两个都可以，都写了不同的前端，chat版本就是对话能力好一点可以用chat的那个

xxyNeepu commented 5 months ago

两个都可以，都写了不同的前端，chat版本就是对话能力好一点可以用chat的那个 大佬，我在使用finetune.py重新训练的时候，报网络错误，这个是在下载什么，我可以手动下载么。 微信图片_20240305160544

Facico commented 5 months ago

下模型，可以手动下载。很多问题你不用一个个问我的，google一下都能解决😂，网络不行这个问题问了好多issue我都没回

xxyNeepu commented 5 months ago

下模型，可以手动下载。很多问题你不用一个个问我的，google一下都能解决😂，网络不行这个问题问了好多issue我都没回

大佬，我设置好了，然后出这个问题是怎么回事 微信图片_20240307164855

Facico commented 5 months ago

你的环境装错了吧，装的requirements.txt那个？

xxyNeepu commented 5 months ago

不能用那个？。。。我就是下载的那个

---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2024年03月07日 17:45 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [Facico/Chinese-Vicuna] 关于中断训练继续训练。 (Issue #258) |

你的环境装错了吧，装的requirements.txt那个？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Facico commented 5 months ago

就用这个，我刚试了一下这个环境，bash ./scripts/finetune.sh是没问题的。如果你解决不了，可以调试一下model里面有没有这个接口（对应的应该是peft的接口）