Comprativa entre los resultados de este chatbot y los que proporciona el chatbot actual

[jrg1013]

Objetivo: El objetivo de esta Issue es llevar a cabo una comparativa exhaustiva entre los resultados generados por el chatbot desarrollado en este proyecto y los resultados proporcionados por el chatbot actualmente en uso basado en Dialogflow, con el fin de evaluar y determinar las mejoras y ventajas de la nueva implementación.

Contexto: El chatbot actual ha sido utilizado en proyectos anteriores y se busca entender cómo la nueva implementación basada en Large Language Models (LLM) y técnicas de Retrieval-augmented Generation (RAG) se compara en términos de precisión, relevancia y capacidad de respuesta.

Tareas:

• Definir una metodología de comparación que permita evaluar sistemáticamente los resultados de ambos chatbots en una variedad de escenarios y preguntas comunes.
• Recopilar datos de prueba que reflejen situaciones del mundo real y que puedan ser utilizados para la comparativa.
• Ejecutar pruebas de comparación con un conjunto de preguntas y escenarios predefinidos.
• Analizar y documentar las diferencias en los resultados, incluyendo las mejoras y desventajas de la nueva implementación.

Criterios de Éxito:

• Se ha establecido una metodología de comparación sólida y coherente.
• Los datos de prueba recopilados son representativos de situaciones reales.
• La comparativa revela diferencias significativas entre los resultados del nuevo chatbot y el chatbot actual, destacando las mejoras y ventajas.

[clopezno]

Como punto de partida de la comparación se puede consultar esta entrada de nuestro Blog del Grupo de Innovación Docente DIGIT

Para comparar/validar de las respuestas se pueden agrupar las preguntas en tres dimensiones :

• Preguntas de tutoría administrativas -FAQ recurso de información estable y particular de TFG en la UBU
• Preguntas de tutoría generales sobre conceptos de planificación de proyectos (entrada blog
• Preguntas de tutoría específicas de un TFG. ¿cómo documentar el funcionamiento de dialogflow en una memoria de TFG?

Una idea es que apliques ingeniería del promt para poder extraer respuestas de los históricos de TFGII presentados- descripciones de TFG, Tutores, repositorios de github... Aunque quizás hay que abrir otra issue para tratar esto con más detalle.

[jrg1013]

https://github.com/jrg1013/chatbot/commit/b0ef495b30578126cc8baa552e9fc8c61a8af996#r129701624