Implementar vectorizado de nuevos documentos

[agutierrezmorag]

Descripción

En la pagina de 📑 Documentos el usuario debería ser capaz de realizar el vectorizado de los documentos que suba o elimine.

Objetivo

Implementar el vectorizado de los documentos que se suban. También habrá que realizarlo cuando se eliminen documentos. Ver si hacerlo mediante un botón disponible al usuario o si se hace en el background durante la subida y eliminación.

[agutierrezmorag]

Ya se implementó el vectorizado. Se hizo mediante la disposición de un botón para el usuario donde, una vez apretado, se elimina el index creado en Pinecone y se crea uno nuevo con los documentos presentes en la carpeta documentos del repositorio. Hubo cierta demora en el proceso, entre 1 y 3 minutos, supongo que ira variando con la cantidad de documentos. Le tomaré el tiempo la próxima vez que lo ejecute, un par de veces con un solo documento y otro par con todos los que tengamos.

Noté que al intentar eliminar más de un documento es necesario ir eliminándolos uno por uno, lo que es bastante lento. Reemplazaré el botón por un checkbox, así simplemente se seleccionan los documentos a eliminar, se hace click a un botón y se eliminan todos de golpe.

Falta agregar instrucciones para el usuario de como es el proceso.

También moví las constantes a su propio módulo dentro de la estructura del proyecto (utils/config.py), esto con el motivo de evitar declarar las mismas constantes en ambos archivos .py (como las API keys), ahora simplemente se importa el modulo y se tienen acceso a todas las variables de entorno.

Realizaré el push de lo desarrollado una vez se implemente la autenticación de la pagina de administración de documentos, para evitar posibles abuso por usuarios online.

Durante el testeo ejecuté lo que hice, por lo que el bot desde ahora responde las preguntas según los documentos corregidos que tenemos hasta ahora (10 listos, 1 incompleto y 1 faltante).

[agutierrezmorag]

Me di cuenta que, como se cambio el metodo de cargar documentos (TextLoader se reemplazo por GitLoader), tambien se agrego nuevo metadata a cada vector:

(antes solo era source y text)

Es importante a tener en cuenta que también podemos agregar metadata que definamos nosotros (como el nombre del reglamento en buen formato).

[agutierrezmorag]

Ahora se da uso de st.dataframe para mostrar los documentos y de un st.checkbox para seleccionar uno o mas documentos a eliminar. También se añadió un botón de confirmación antes de proceder con la eliminación.

[agutierrezmorag]

Se agregaron instrucciones y se formateo un poco la pagina. Se puede mejorar.

[agutierrezmorag]

Se realizo un pequeño reajuste de la IU

[agutierrezmorag]

Ahora los documentos son subidos a este mismo repositorio, a su propio branch: docs. Todo lo demás ya ha sido implementado acordemente.