search

agutierrezmorag / unap-chatbot

Desarrollo de chatbot consciente de documentos y reglamentos pertinentes a la universidad Arturo Prat y la carrera de Ingenieria Civil en Computacion e Informatica.
https://unap-chatbot.streamlit.app/
0 stars 0 forks source link

Reemplazar embeddings de OpenAI #2

Closed agutierrezmorag closed 9 months ago

agutierrezmorag commented 9 months ago

Descripción

Se esta dando uso de la clase OpenAIEmbeddings para realizar los embeddings. Esto trae consigo costos extra, los que se descuentan del plan actual en la API de OpenAI.

Objetivo

Implementar embeddings gratuitos (HuggingFace) y ver si hay diferencia significativa con los de OpenAI. En caso de que no, reemplazar OpenAIEmbeddings en el código por la opción gratuita.

Gualterguaguita commented 9 months ago

Se hicieron pruebas con los 4 embeddings mas descargados de hugging face. Su desepeño es peor que los embeddings de OpenAI. El resultado de las pruebas resalto la notable superioridad de los embeddings de OpeanAI sobre los de Hugging Face.

Detalle de las pruebas: https://docs.google.com/spreadsheets/d/1rchvmFAnaVv3kXvw2TS4MESuPWKX5AQIh2z36IswZto/edit?usp=sharing

Por lo que debido a la calidad de los embeddings gratuitos respecto a los de OpenAI, sera preferible continuar utilizando los embeddings de OpenAI.