search

fcori47 / basdonax-ai-rag

135 stars 67 forks source link

error en python al usar chat #10

Open anibalardid opened 4 months ago

anibalardid commented 4 months ago

En la interface web, los archivos se agregan bien, sin error. Pero luego al querer chatear da error:

image

anibalardid commented 4 months ago

como borre el contenedor de docker y las imagenes al estar probando me olvide de ejecutar la instalacion de phi3 :) docker exec 28cf32abee50 ollama pull phi3 ....

probando de nuevo

anibalardid commented 4 months ago

Archivos subidos correctamente

Web al poner hola en el char queda en Runing: image

Logs: image

PD: Es una MacBook con procesador M1 y 32gb de RAM Estoy probando el modelo phi3

anibalardid commented 4 months ago

Tambien probe descargar el modelo de llama3, pero sigue igual (ya hice docker compose down y up de nuevo) docker exec 28cf32abee50 ollama pull llama3

anibalardid commented 4 months ago

En el browser el request llama a "api.segment.io"

fcori47 commented 4 months ago

buenas! proba hacer de nuevo el proceso (tipo elimina todo, hace el pull del modelo), porque eso que te tira ollama significa que esta cargando el modelo como "preparandose" para la respuesta, puede que este tardando mucho por algo relacionado a la pc (aunque me parece raro), cualquier cosa comentame por aca o por instagram que estoy mas activo por ahi: @facundocorengia asi lo podemos solucionar!

anibalardid commented 4 months ago

mil gracias facu, sabes que lo probe varias veces y borrando las imagenes de docker, volumen, todo de cero, pero nada. Cuando probe localmente sin docker, otras apps con python y llama local en mi mac y corrieron de 10. Debe ser algo dentro de docker. Voy a probar de cero nuevamente todo y te comento

apprillabscom commented 1 month ago

@anibalardid me podrías indicar con que versión de python instalada en tu mac te corrió el docker compose