Crear un modelo de Profesor

[Rastapar]

Buscar algun modelo que actue como profesor de inglés, es decir, que pueda mantener una conversacion profesor-alumno. Fine-tunear si es necesario. Mirar qué corpus usar para el Fine Tuning. En un principio está el de C4 200M.

[jaspock]

No usaremos C4 200M para esto en principio porque no son conversaciones orgánicas entre usuarios. Serán corpus del tipo TSCC.

[Rastapar]

Fine Tunear Llama3 8b con TSCC.

[Rastapar]

Leer el TSCC y procesar los datos

[Rastapar]

De la lista de datasets que ha pasado JA, mirar cuales sirven para hacer Fine-Tuning del LLM. El objetivo es crear un modelo que hable como profesor (sin importar en qué campo), por lo que será como un profesor universal.

[Rastapar]

Probar los framework “Llama-Factory” y “Axotolt” para hacer Fine-Tuning de un LLM. Puede que no haga falta hacer un código para eso.

[Rastapar]

LLaMA-Factory: https://github.com/hiyouga/LLaMA-Factory?tab=readme-ov-file

Axotolt: https://github.com/OpenAccess-AI-Collective/axolotl

[Rastapar]

Comandos interesantes para Llama-Factory:

• Ejecutar la GUI:

CUDA_VISIBLE_DEVICES=1 GRADIO_SHARE=1 llamafactory-cli webui

• Ver todos los parametros disponibles para el entrenamiento:

llamafactory-cli train -h

• Ejemplo de entrenar desde la terminal:

CUDA_VISIBLE_DEVICES=1 llamafactory-cli train --stage sft --do_train True --model_name_or_path meta-llama/Meta-Llama-3-8B --finetuning_type lora --quantization_bit 4 --template llama3 --flash_attn auto --dataset_dir data --dataset TSCC_sharegpt --cutoff_len 128 --learning_rate 5e-05 --num_train_epochs 10.0 --max_samples 100000 --per_device_train_batch_size 20 --gradient_accumulation_steps 8 --lr_scheduler_type cosine --max_grad_norm 1.0 --logging_steps 5 --save_steps 100 --warmup_steps 0 --optim adamw_torch --packing False --report_to none --output_dir saves/LLaMA3-8B/lora/try1 --fp16 True --lora_rank 8 --lora_alpha 16 --lora_dropout 0 --lora_target q_proj,v_proj --plot_loss True --overwrite_output_dir True