zylon-ai / private-gpt

Interact with your documents using the power of GPT, 100% privately, no data leaks
https://docs.privategpt.dev
Apache License 2.0
52.67k stars 7.07k forks source link

File not present as "ingested file" after uploading with openai configuration #1921

Open ykanfi opened 1 month ago

ykanfi commented 1 month ago

Uploading a small PDF appears to succeed (no errors reported) but UI doesn't reflect the uploaded file and it can't be queried.

Running openAI settings, here are the ingestion results:

09:43:58.671 [INFO ] private_gpt.server.ingest.ingest_service - Ingesting file_names=['HaveStrategy.pdf'] Parsing nodes: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 875.64it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 4364.52it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5236.33it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 3013.15it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 8473.34it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 5924.16it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 9822.73it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 10305.42it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 13315.25it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 11335.96it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 7463.17it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 10538.45it/s] Generating embeddings: 0it [00:00, ?it/s] 09:43:58.843 [INFO ] private_gpt.server.ingest.ingest_service - Finished ingestion file_name=['HaveStrategy.pdf']

Geelhem commented 2 weeks ago

Same problem with Ollama and llama 3 on Windows Machine : (private-gpt-py3.11) PS C:\Users\MrGChene\dev_work\private-gpt> make run poetry run python -m private_gpt 13:36:38.717 [INFO ] private_gpt.settings.settings_loader - Starting application with profiles=['default', 'ollama'] 13:36:43.802 [INFO ] private_gpt.components.llm.llm_component - Initializing the LLM in mode=ollama 13:36:44.763 [INFO ] private_gpt.components.embedding.embedding_component - Initializing the embedding model in mode=ollama 13:36:44.781 [INFO ] llama_index.core.indices.loading - Loading all indices. 13:36:45.220 [INFO ] private_gpt.ui.ui - Mounting the gradio UI, at path=/ 13:36:45.294 [INFO ] uvicorn.error - Started server process [14248] 13:36:45.294 [INFO ] uvicorn.error - Waiting for application startup. 13:36:45.294 [INFO ] uvicorn.error - Application startup complete. 13:36:45.295 [INFO ] uvicorn.error - Uvicorn running on http://0.0.0.0:8001 (Press CTRL+C to quit) 13:36:53.112 [INFO ] uvicorn.access - 127.0.0.1:59536 - "POST /queue/join HTTP/1.1" 200 13:36:53.130 [INFO ] uvicorn.access - 127.0.0.1:59536 - "GET /queue/data?session_hash=ikh5j0ercn9 HTTP/1.1" 200 13:37:03.175 [INFO ] uvicorn.access - 127.0.0.1:59537 - "POST /upload HTTP/1.1" 200 13:37:03.217 [INFO ] uvicorn.access - 127.0.0.1:59537 - "POST /queue/join HTTP/1.1" 200 13:37:03.231 [INFO ] uvicorn.access - 127.0.0.1:59537 - "GET /queue/data?session_hash=ikh5j0ercn9 HTTP/1.1" 200 13:37:03.284 [INFO ] private_gpt.server.ingest.ingest_service - Ingesting file_names=['the stella_eng.pdf', 'the stella_gf.pdf'] Parsing nodes: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<?, ?it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1001.74it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 719.93it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 891.27it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 986.66it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 680.67it/s] Generating embeddings: 0it [00:00, ?it/s] Parsing nodes: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<?, ?it/s] Generating embeddings: 0it [00:00, ?it/s] 13:37:03.585 [INFO ] private_gpt.server.ingest.ingest_service - Finished ingestion file_name=['the stella_eng.pdf', 'the stella_gf.pdf'] 13:37:03.666 [INFO ] uvicorn.access - 127.0.0.1:59537 - "POST /queue/join HTTP/1.1" 200 13:37:03.682 [INFO ] uvicorn.access - 127.0.0.1:59537 - "GET /queue/data?session_hash=ikh5j0ercn9 HTTP/1.1" 200 13:37:03.764 [INFO ] uvicorn.access - 127.0.0.1:59537 - "POST /queue/join HTTP/1.1" 200 13:37:03.773 [INFO ] uvicorn.access - 127.0.0.1:59537 - "GET /queue/data?session_hash=ikh5j0ercn9 HTTP/1.1" 200

but then it hangs forever and no files appear in GUI