search

aquadzn / gpt2-french

GPT-2 French demo | Démo française de GPT-2
https://aquadzn.github.io/gpt2-french/
68 stars 14 forks source link

Modèle macron: output avec des fautes et inconsistences #5

Closed manueltonneau closed 4 years ago

manueltonneau commented 4 years ago

Je viens de produire de l'output avec le modèle macron et les textes produits ont rarement du sens et contiennent pas mal de fautes d'orthographe. Je connais les limites de GPT-2 mais aimerais en savoir plus sur le tuning des paramètres pour optimiser la qualité de l'output. As-tu des conseils sur la température, la length, le top_p, etc.. à utiliser? Ci-dessous un exemple des phrases produites: image

aquadzn commented 4 years ago

tu peux tenter de récupérer plus de tweets et de réentrainé sur le modèle medium ou le big vu que celui que tu as utilisé c'est un small

Température je laisse entre 0.7 et 0.9 et le reste je laisse par défaut

manueltonneau commented 4 years ago

Ca marche, je vais essayer. Merci pour les infos! :)

manueltonneau commented 4 years ago

tu peux tenter de récupérer plus de tweets et de réentrainé sur le modèle medium ou le big vu que celui que tu as utilisé c'est un small

Température je laisse entre 0.7 et 0.9 et le reste je laisse par défaut

Ah et j'oubliais: sur quelle quantite de tweets avais-tu entrainé le modèle?