search

bofenghuang / vigogne

French instruction-following and chat models
Apache License 2.0
497 stars 47 forks source link

Test du chat après "Finetune" #24

Open madaracelio opened 1 year ago

madaracelio commented 1 year ago

Bonjour,

En regardant le code de la démo pour le chat, j'ai réussi à adapter le code par rapport à mon modèle Mpt-7b et a pu faire une discussion avec l'assistant (J'ai fait du finetune avec les datasets de discussion de la repo). Mais mon problème est que dès fois l'assistant répond, et après il n'y a plus de réponse donnée c'est-à-dire la réponse est vide que ce soit sur l'interface ou dans le log de la console.

Pouvez-vous m'aider à voir quel est le problème ?

Voici une image pour bien visualiser le problème : image

Symfomany commented 1 year ago

Comment as-tu finetuner le model ? Quel model as tu finetuner ? tu as utiliser python vigogne/train/train_sft.py ? quels params ? quel est ton fichier json?

madaracelio commented 1 year ago

J'ai utilisé le model "Openllama 7b" avec les paramètres par défaut, le script "vigogne/train/train_sft.py" et les datasets présente dans les liens de cette repo. Sachant que ce problème venait de la variable history (array) dans le code qui n'arrive pas à contenir plus de 2 discussions. C'est-à-dire lorsqu'on donne un prompt, et que c'est la 3ème fois qu'on le fait, on n'obtient rien du tout. Lorsque je l'ai enlevé, le model répond mais ne se souviens pas de la discussion précédente