Edit Mai 2020
Ce repo est un peu en désordre et mal expliqué sur certains points.
Ayant accès au Tensorflow Research Cloud Program, je compte peut être entraîner from scratch (et non fine-tuner comme il est question ici) sur un gros dataset en français. Si cela abouti, j'archiverai ce qui est ici actuellement et j'écrirai une meilleure doc 👍
GPT-2 :fr:
Modèle GPT-2 d'OpenAI entraîné sur quatres différents jeux de données en français:
- Livres en français
- Scripts de films français
- Compte-rendus des débats parlementaires
- Tweet d'Emmanuel Macron
permettant de faire de la génération de texte.
Une démo utilisant pour chaque jeu de données un modèle GPT-2 Small (124M) est disponible à l'adresse suivante: https://gpt2.williamjacques.fr (service down)
Usage
Cloner ce repo
git clone https://github.com/aquadzn/gpt2-french.gitTensorflow et gpt-2-simple sont necéssaires afin de fine-tuner GPT-2. Créer un environnement puis installer les deux packages pip install tensorflow==1.14 gpt-2-simple.
Un script et un notebook sont disponibles dans le dossier src afin de fine-tuner GPT-2 sur vos propres datasets.
L'output de chaque entraînement, c'est à dire le dossier checkpoint/run1, est à mettre dans gpt2-model/model1 model2 model3 etc...
Vous pouvez lancer le script deploy_cloudrun.sh afin de déployer tous vos différents modèles (dans gpt2-model) d'un coup. Il faut cependant avoir déjà initialisé l'outil CLI gcloud (Cloud SDK).
Modèles
Crédits
Basé sur les repos GPT2-Simple et GPT2-CloudRun de minimaxir