search

mayooear / gpt4-pdf-chatbot-langchain

GPT4 & LangChain Chatbot for large PDF docs
https://www.youtube.com/watch?v=ih9PBGVVOO4
14.91k stars 3.02k forks source link

Error: Failed to ingest your data #242

Closed chenlei821005 closed 1 year ago

chenlei821005 commented 1 year ago

Error: Failed to ingest your data at run (/Users/chenlei/gpt4-pdf-chatbot-langchain/scripts/ingest-data.ts:44:11) at process.processTicksAndRejections (node:internal/process/task_queues:95:5) at (/Users/chenlei/gpt4-pdf-chatbot-langchain/scripts/ingest-data.ts:49:3)

I have tried to modify three different PDF files, but I am getting the same error.

spacepirate0001 commented 1 year ago

Where is the rest of the error?

capecha commented 1 year ago

error Error: Request failed with status code 429 at createError (file:///Projects/gpt4-pdf-chatbot-langchain/node_modules/langchain/dist/util/axios-fetch-adapter.js:312:19) at settle (file:///Projects/gpt4-pdf-chatbot-langchain/node_modules/langchain/dist/util/axios-fetch-adapter.js:25:16) at file:///Projects/gpt4-pdf-chatbot-langchain/node_modules/langchain/dist/util/axios-fetch-adapter.js:175:19 at new Promise () at fetchAdapter (file:///Projects/gpt4-pdf-chatbot-langchain/node_modules/langchain/dist/util/axios-fetch-adapter.js:167:12) at process.processTicksAndRejections (node:internal/process/task_queues:95:5) at RetryOperation._fn (Projects/gpt4-pdf-chatbot-langchain/node_modules/p-retry/index.js:50:12) { config: { transitional: { silentJSONParsing: true, forcedJSONParsing: true, clarifyTimeoutError: false }, adapter: [AsyncFunction: fetchAdapter], transformRequest: [ [Function: transformRequest] ], transformResponse: [ [Function: transformResponse] ], timeout: 0, xsrfCookieName: 'XSRF-TOKEN', xsrfHeaderName: 'X-XSRF-TOKEN', maxContentLength: -1, maxBodyLength: -1, validateStatus: [Function: validateStatus], headers: { Accept: 'application/json, text/plain, /', 'Content-Type': 'application/json', 'User-Agent': 'OpenAI/NodeJS/3.2.1', Authorization: 'Bearer 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' }, method: 'post', data: '{"model":"text-embedding-ada-002","input":["0 For internal use only Apoyo al Programa de Protección Social (Multifase) (DR-L1039 / 2176/OC-DR) (DR-L1044 / 2426/OC-DR) (DR-L1047 / 2623/OC-DR) Informe de Terminación de Proyecto (PCR) Equipo de Proyecto Original: DR-L1039 Mario Alberto Sánchez (SCL/SPH), Jefe de Equipo; Luis César Acosta (CID/CDR); Rafael Anta (SCL/SCT); Armando Godínez (EDU/CDR); Martha Guerra (SCL/SPH); Isabel Nieves (SPH/CBL); Juan Carlos Pérez-Segnini (LEG/SGO); Claudia Pévere (SCL/SPH); Laura Ripani (SCL/LMK); Jorge Torres (SPH/CDR); e Ignez Tristao (SCL/SPH). DR-L1044 Mario Sánchez (SCL/SPH), Jefe de Equipo; Luis Acosta (PDP/CDR); Rafael Anta (SCL/STC); Matías Busso (RES/RES); Awilda Castillo (CID/CDR); Carolina Escudero (PDP/CDR); Juan Carlos Pérez-Segnini (LEG/SGO); Claudia Pévere (SCL/SPH); Jorge Torres (SPH/CDR); e Ignez Tristao (SCL/SPH). DR-L1047 Ignez Tristao (SCL/SPH), Jefe de Equipo; Luis Acosta (PDP/CDR); Matías Busso","Torres (SPH/CDR); e Ignez Tristao (SCL/SPH). DR-L1047 Ignez Tristao (SCL/SPH), Jefe de Equipo; Luis Acosta (PDP/CDR); Matías Busso (RES/RES); Carolina Escudero (PDP/CDR); Juan Pablo Severi (SCL/SPH); Mario Sanchez (SCL/SPH); Serrana Mujica (SCL/SPH); Sandro Parodi (SPH/CDR); Vielka Pimentel (CID/CDR); Gabriela Regojo (LEG/SGO); Claudia Pévere (SCL/SPH); Rafael Rodríguez- Balza (CID/CID); Jorge Torres (SPH/CDR); y Claudia Piras (SCL/GDI). Equipo PCR: Carolina González Acero, Jefe de Equipo (SPH/CDR); Sebastian Gallegos (SPD/SDV); Paola Polanco Santos (SPH/CDR); Yonaida Encarnación (CID/CDR); Matilde Neret (SCL/SPH); Martha Guerra (SCL/SPH); Alejandro Cruz Fano (Consultor); y Francisco Mejía (Consultor).","i INDEX Enlaces Electrónicos Requeridos ............................................................................................. ii Enlaces Electronicos Opcionales.............................................................................................. ii INFORMACIÓN BÁSICA DEL PROYECTO........................................................................................ iv I. INTRODUCCIÓN ............................................................................................................. 7 II. DESEMPEÑO DEL PROYECTO ........................................................................................... 13 2.1 Relevancia ................................................................................................................. 13 a. Alineación con las necesidades de desarrollo del país ....................................................13","a. Alineación con las necesidades de desarrollo del país ....................................................13 b. Alineación con los Objetivos Estratégicos del Banco ......................................................14 c. Relevancia del Diseño .....................................................................................................15 2.2 Efectividad ................................................................................................................. 25 a. Objetivos de desarrollo del Programa Multifase. .............................................................25 b. Resultados Alcanzados ...................................................................................................25 c. Análisis de la Atribución de los Resultados .....................................................................31 d. Resultados imprevistos ...................................................................................................34","d. Resultados imprevistos ...................................................................................................34 2.3 Eficiencia .................................................................................................................... 35 2.4 Sostenibilidad ............................................................................................................. 37 a. Aspectos Generales de Sostenibilidad ............................................................................37 b. Salvaguardias Ambientales y Sociales ............................................................................39 III. CRITERIOS NO CENTRALES ....................................................................................... 40 3.1 Desempeño del Banco ............................................................................................... 40","3.1 Desempeño del Banco ............................................................................................... 40 3.2 Desempeño de la Contraparte ................................................................................... 41 IV. HALLAZGOS Y RECOMENDACIONES ........................................................................ 47 4.1 Lógica Vertical Matriz de Resultados ...................................................................... 47 4.2 Ejecución - Plazo ....................................................................................................... 48 4.3 Experiencia general con la gestión del proyecto ......................................................... 48 4.4 Evaluación de Impacto ............................................................................................... 48 4.5 Asuntos no resueltos .................................................................................................. 49","ii Enlaces Electrónicos Requeridos 1. Matriz de Efectividad en el Desarrollo (DEM) - DR-L1039 2. Matriz de Efectividad en el Desarrollo (DEM) - DR-L1044 3. Matriz de Efectividad en el Desarrollo (DEM) - DR-L1047 4. Versión Final de Reporte de Progreso del Monitoreo (PMR) - DR-L1039 5. Versión Final de Reporte de Progreso del Monitoreo (PMR) - DR-L1044 6. Versión Final de Reporte de Progreso del Monitoreo (PMR) - DR-L1047 7. Checklist del PCR - DR-L1039 8. Checklist del PCR - DR-L1044 9. Checklist del PCR - DR-L1047 Enlaces Electronicos Opcionales 1. Análisis Costo-Beneficio Ex Post","iii Acrónimos y Abreviaciones ACE Análisis Costo Efectividad ADESS Administradora de Subsidios Sociales ALC América Latina y el Caribe APPS Apoyo al Programa de Protección Social ARS Administradoras de Riesgos de Salud B/C Beneficios/Costo BID Banco Interamericano de Desarrollo CAP Centros de Atención Primaria o Centro de Primer Nivel CEP Comer es Primero CPN Centro de Primer Nivel o Centros de Atención Primaria CR Cadena de Resultados DAF Dirección Administrativa Financiera DEM Matriz de Efectividad en el Desarrollo DTE Dirección Técnica Ejecutiva EBP Estrategia del Banco en el País EBS Encuesta de Beneficiarios de Solidaridad EEPS Encuesta de Evaluación de Protección Social GCPS Gabinete de Coordinación de Protección Social GRD Gobierno de República Dominicana ILAE Incentivo a la Asistencia Escolar ICV Índice de Calidad de Vida M&E Monitoreo y Evaluación MINERD Ministerio de Educación de República Dominicana MR Matriz de Resultados MSP Ministerio de Salud Pública","ICV Índice de Calidad de Vida M&E Monitoreo y Evaluación MINERD Ministerio de Educación de República Dominicana MR Matriz de Resultados MSP Ministerio de Salud Pública PMEP Plan de Monitoreo y Evaluación del Proyecto PMR Informe de Monitoreo del Progreso, por sus siglas en inglés PMR Informe de Monitoreo de Proyecto POA Plan Operativo Anual PROSOLI Progresando con Solidaridad PTMC Programa de Transferencias Monetarias Condicionadas RAS Red de Abasto Social SeNaSa Seguro Nacional de Salud SGC Sistema de Gestión Clínica SGSS Sistema de Gestión de los Servicios de Salud SIUBEN Sistema Único de Beneficiarios SMES Sistema de Monitoreo y Evaluación de Solidaridad SMES Sistema de Monitoreo y Evaluación Social SRS Sistemas Regionales de Salud TDC Teoría de Cambio TIR Tasa Interna de Retorno UTP Unidad Técnica de Proyecto VAN Valor Actual Neto","iv INFORMACIÓN BÁSICA DEL PROYECTO NÚMERO DE PROYECTO (S): DR-L1039; DR-L1044; Y DR-L1047 TÍTULO: APOYO AL PROGRAMA DE PROTECCIÓN SOCIAL (FASES 1 A 3) INSTRUMENTO DE PRÉSTAMO: PRÉSTAMO MULTIFASE PAÍS: REPÚBLICA DOMINICANA PRESTATARIO: GOBIERNO DE REPÚBLICA DOMINICANA PRÉSTAMO (S): INVERSIÓN SECTOR/SUBSECTOR: PROTECCIÓN SOCIAL Y SALUD FASE 1 FASE 2 FASE 3 FECHA DE APROBACIÓN DIRECTORIO: 8/26/09 10/27/10 11/16/11 FECHA DE EFECTIVIDAD CONTRATO DE PRÉSTAMO: 12/20/09 12/18/10 07/29/12 FECHA DE ELEGIBILIDAD PRIMER DESEMBOLSO: 12/21/09 12/21/10 10/31/12 MONTO PRÉSTAMO (S) FASE 1 FASE 2 FASE 3 MONTO ORIGINAL: US$70.000.000 US$100.000.000 US$80.000.000 MONTO ACTUAL US$69.900.000 US$99.900.000 US$78,700.000 PARI PASU: 0.00% 0.00% 0.00% COSTO TOTAL DEL PROYECTO: US$69.900.000 US$99,900.000 US$78,700.000 MESES DE EJECUCIÓN FASE 1 FASE 2 FASE 3 DESDE APROBACIÓN: 33 49 80 DESDE EFECTIVIDAD DEL CONTRATO: 30 47 72 PERIODOS DE DESEMBOLSO","MESES DE EJECUCIÓN FASE 1 FASE 2 FASE 3 DESDE APROBACIÓN: 33 49 80 DESDE EFECTIVIDAD DEL CONTRATO: 30 47 72 PERIODOS DE DESEMBOLSO FASE 1 FASE 2 FASE 3 FECHA ORIGINAL DE DESEMBOLSO FINAL: 06/20/11 12/18/12 07/29/14 FECHA ACTUAL DE DESEMBOLSO FINAL: 06/20/12 12/15/14 07/29/18 EXTENSIÓN ACUMULATIVA (MESES): 12 24 48 EXTENSIÓN ESPECIAL (MESES): N/A N/A 24 DESEMBOLSOS MONTO TOTAL DE DESEMBOLSOS A LA FECHA: 100% 100% 100% GRÁFICA DE DESEMBOLSOS 39.00 67.47 69.73 70.00 69.87 36.00 76.65 88.65 92.58 100.00 99.85 43.00 47.75 47.75 71.32 76.82 80.00 78.66 0 10 20 30 40 50 60 70 80 90 100 110 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 Millones US$ Avance de desembolsos Fase 1Fase 2Fase 3","v REDIRECCIONAMIENTO: ESTE PROYECTO: FASE 1 FASE 2 FASE 3 ¿RECIBIÓ FONDOS DE OTRO PROYECTO? NO NO NO ¿ENVIÓ FONDOS A OTRO PROYECTO? NO NO NO Calificaciones del desempeño '... 284686 more characters, url: 'https://api.openai.com/v1/embeddings' }, request: Request { [Symbol(realm)]: { settingsObject: [Object] },

  method: 'POST',
  localURLsOnly: false,
  unsafeRequest: false,
  body: [Object],
  client: [Object],
  reservedClient: null,
  replacesClientId: '',
  window: 'client',
  keepalive: false,
  serviceWorkers: 'all',
  initiator: '',
  destination: '',
  priority: null,
  origin: 'client',
  policyContainer: 'client',
  referrer: 'client',
  referrerPolicy: '',
  mode: 'cors',
  useCORSPreflightFlag: false,
  credentials: 'same-origin',
  useCredentials: false,
  cache: 'default',
  redirect: 'follow',
  integrity: '',
  cryptoGraphicsNonceMetadata: '',
  parserMetadata: '',
  reloadNavigation: false,
  historyNavigation: false,
  userActivation: false,
  taintedOrigin: false,
  redirectCount: 0,
  responseTainting: 'basic',
  preventNoCacheCacheControlHeaderModification: false,
  done: false,
  timingAllowFailed: false,
  headersList: [HeadersList],
  urlList: [Array],
  url: [URL]
},
[Symbol(signal)]: AbortSignal { aborted: false },
[Symbol(headers)]: HeadersList {
  cookies: null,
  [Symbol(headers map)]: [Map],
  [Symbol(headers map sorted)]: null
}

}, response: { ok: false, status: 429, statusText: 'Too Many Requests', headers: HeadersList { cookies: null,

  [Symbol(headers map sorted)]: null
},
config: {
  transitional: [Object],
  adapter: [AsyncFunction: fetchAdapter],
  transformRequest: [Array],
  transformResponse: [Array],
  timeout: 0,
  xsrfCookieName: 'XSRF-TOKEN',
  xsrfHeaderName: 'X-XSRF-TOKEN',
  maxContentLength: -1,
  maxBodyLength: -1,
  validateStatus: [Function: validateStatus],
  headers: [Object],
  method: 'post',
  data: '{"model":"text-embedding-ada-002","input":["0                 For internal use only  Apoyo al Programa de  Protección Social (Multifase)  (DR-L1039 / 2176/OC-DR)  (DR-L1044 / 2426/OC-DR)  (DR-L1047 / 2623/OC-DR)    Informe de Terminación de  Proyecto (PCR)    Equipo de Proyecto Original:  DR-L1039  Mario Alberto Sánchez (SCL/SPH), Jefe de Equipo; Luis César Acosta (CID/CDR); Rafael  Anta (SCL/SCT); Armando Godínez (EDU/CDR); Martha Guerra (SCL/SPH); Isabel Nieves  (SPH/CBL);  Juan  Carlos  Pérez-Segnini  (LEG/SGO);  Claudia  Pévere  (SCL/SPH);  Laura  Ripani (SCL/LMK); Jorge Torres (SPH/CDR); e Ignez Tristao (SCL/SPH).    DR-L1044  Mario  Sánchez  (SCL/SPH),  Jefe  de  Equipo;  Luis  Acosta  (PDP/CDR);  Rafael  Anta  (SCL/STC);  Matías  Busso  (RES/RES);  Awilda  Castillo  (CID/CDR);  Carolina  Escudero  (PDP/CDR);  Juan  Carlos  Pérez-Segnini  (LEG/SGO);  Claudia  Pévere  (SCL/SPH);  Jorge  Torres (SPH/CDR); e Ignez Tristao (SCL/SPH).    DR-L1047  Ignez  Tristao  (SCL/SPH),  Jefe  de  Equipo;  Luis  Acosta  (PDP/CDR);  Matías  Busso","Torres (SPH/CDR); e Ignez Tristao (SCL/SPH).    DR-L1047  Ignez  Tristao  (SCL/SPH),  Jefe  de  Equipo;  Luis  Acosta  (PDP/CDR);  Matías  Busso  (RES/RES); Carolina Escudero (PDP/CDR); Juan Pablo Severi (SCL/SPH); Mario Sanchez  (SCL/SPH);  Serrana  Mujica  (SCL/SPH);  Sandro  Parodi  (SPH/CDR);  Vielka  Pimentel  (CID/CDR); Gabriela Regojo (LEG/SGO); Claudia Pévere (SCL/SPH); Rafael Rodríguez- Balza (CID/CID); Jorge Torres (SPH/CDR); y Claudia Piras (SCL/GDI).      Equipo PCR: Carolina González Acero, Jefe de Equipo (SPH/CDR); Sebastian Gallegos  (SPD/SDV); Paola Polanco Santos (SPH/CDR); Yonaida Encarnación (CID/CDR); Matilde  Neret (SCL/SPH); Martha Guerra (SCL/SPH); Alejandro Cruz Fano (Consultor); y Francisco  Mejía (Consultor).","i  INDEX  Enlaces Electrónicos Requeridos ............................................................................................. ii  Enlaces Electronicos Opcionales.............................................................................................. ii  INFORMACIÓN BÁSICA DEL PROYECTO........................................................................................ iv  I.   INTRODUCCIÓN ............................................................................................................. 7  II.   DESEMPEÑO DEL PROYECTO ........................................................................................... 13  2.1   Relevancia ................................................................................................................. 13  a.   Alineación con las necesidades de desarrollo del país ....................................................13","a.   Alineación con las necesidades de desarrollo del país ....................................................13  b.   Alineación con los Objetivos Estratégicos del Banco ......................................................14  c.   Relevancia del Diseño .....................................................................................................15  2.2   Efectividad ................................................................................................................. 25  a.   Objetivos de desarrollo del Programa Multifase. .............................................................25  b.   Resultados Alcanzados ...................................................................................................25  c.   Análisis de la Atribución de los Resultados .....................................................................31  d.   Resultados imprevistos ...................................................................................................34","d.   Resultados imprevistos ...................................................................................................34  2.3   Eficiencia .................................................................................................................... 35  2.4   Sostenibilidad ............................................................................................................. 37  a.   Aspectos Generales de Sostenibilidad ............................................................................37  b.   Salvaguardias Ambientales y Sociales ............................................................................39  III.  CRITERIOS NO CENTRALES ....................................................................................... 40  3.1   Desempeño del Banco ............................................................................................... 40","3.1   Desempeño del Banco ............................................................................................... 40  3.2   Desempeño de la Contraparte ................................................................................... 41  IV.  HALLAZGOS Y RECOMENDACIONES ........................................................................ 47  4.1   Lógica Vertical  Matriz de Resultados ...................................................................... 47  4.2   Ejecución - Plazo ....................................................................................................... 48  4.3   Experiencia general con la gestión del proyecto ......................................................... 48  4.4   Evaluación de Impacto ............................................................................................... 48  4.5   Asuntos no resueltos .................................................................................................. 49","ii    Enlaces Electrónicos Requeridos    1. Matriz de Efectividad en el Desarrollo (DEM) - DR-L1039  2. Matriz de Efectividad en el Desarrollo (DEM) - DR-L1044  3. Matriz de Efectividad en el Desarrollo (DEM) - DR-L1047  4. Versión Final de Reporte de Progreso del Monitoreo (PMR) - DR-L1039   5. Versión Final de Reporte de Progreso del Monitoreo (PMR) - DR-L1044  6. Versión Final de Reporte de Progreso del Monitoreo (PMR) - DR-L1047  7. Checklist del PCR - DR-L1039  8. Checklist del PCR - DR-L1044  9. Checklist del PCR - DR-L1047    Enlaces Electronicos Opcionales    1. Análisis Costo-Beneficio Ex Post","iii    Acrónimos y Abreviaciones  ACE Análisis Costo Efectividad  ADESS Administradora de Subsidios Sociales  ALC América Latina y el Caribe  APPS Apoyo al Programa de Protección Social  ARS Administradoras de Riesgos de Salud  B/C Beneficios/Costo  BID Banco Interamericano de Desarrollo  CAP Centros de Atención Primaria o Centro de Primer Nivel  CEP Comer es Primero  CPN Centro de Primer Nivel o Centros de Atención Primaria  CR Cadena de Resultados  DAF Dirección Administrativa Financiera  DEM Matriz de Efectividad en el Desarrollo  DTE Dirección Técnica Ejecutiva  EBP Estrategia del Banco en el País  EBS Encuesta de Beneficiarios de Solidaridad  EEPS Encuesta de Evaluación de Protección Social  GCPS Gabinete de Coordinación de Protección Social  GRD Gobierno de República Dominicana  ILAE Incentivo a la Asistencia Escolar  ICV Índice de Calidad de Vida  M&E Monitoreo y Evaluación  MINERD Ministerio de Educación de República Dominicana  MR Matriz de Resultados  MSP Ministerio de Salud Pública","ICV Índice de Calidad de Vida  M&E Monitoreo y Evaluación  MINERD Ministerio de Educación de República Dominicana  MR Matriz de Resultados  MSP Ministerio de Salud Pública  PMEP Plan de Monitoreo y Evaluación del Proyecto  PMR Informe de Monitoreo del Progreso, por sus siglas en inglés  PMR Informe de Monitoreo de Proyecto  POA Plan Operativo Anual  PROSOLI Progresando con Solidaridad  PTMC Programa de Transferencias Monetarias Condicionadas  RAS Red de Abasto Social  SeNaSa Seguro Nacional de Salud   SGC Sistema de Gestión Clínica  SGSS Sistema de Gestión de los Servicios de Salud  SIUBEN Sistema Único de Beneficiarios   SMES Sistema de Monitoreo y Evaluación de Solidaridad   SMES Sistema de Monitoreo y Evaluación Social  SRS Sistemas Regionales de Salud  TDC Teoría de Cambio  TIR Tasa Interna de Retorno  UTP Unidad Técnica de Proyecto  VAN Valor Actual Neto","iv    INFORMACIÓN BÁSICA DEL PROYECTO  NÚMERO DE PROYECTO (S):       DR-L1039; DR-L1044; Y DR-L1047  TÍTULO:      APOYO AL PROGRAMA DE PROTECCIÓN SOCIAL (FASES 1 A 3)  INSTRUMENTO DE PRÉSTAMO:   PRÉSTAMO MULTIFASE  PAÍS:      REPÚBLICA DOMINICANA  PRESTATARIO:      GOBIERNO DE REPÚBLICA DOMINICANA  PRÉSTAMO (S):      INVERSIÓN  SECTOR/SUBSECTOR:      PROTECCIÓN SOCIAL Y SALUD     FASE 1 FASE 2 FASE 3  FECHA DE APROBACIÓN DIRECTORIO: 8/26/09 10/27/10 11/16/11  FECHA DE EFECTIVIDAD CONTRATO DE PRÉSTAMO: 12/20/09 12/18/10 07/29/12  FECHA DE ELEGIBILIDAD PRIMER DESEMBOLSO: 12/21/09 12/21/10 10/31/12    MONTO PRÉSTAMO (S)   FASE 1 FASE 2 FASE 3  MONTO ORIGINAL: US$70.000.000  US$100.000.000 US$80.000.000   MONTO ACTUAL US$69.900.000  US$99.900.000  US$78,700.000   PARI PASU:  0.00% 0.00% 0.00%  COSTO TOTAL DEL PROYECTO: US$69.900.000  US$99,900.000  US$78,700.000     MESES DE EJECUCIÓN   FASE 1 FASE 2 FASE 3  DESDE APROBACIÓN: 33 49 80  DESDE EFECTIVIDAD DEL CONTRATO: 30 47 72    PERIODOS DE DESEMBOLSO","MESES DE EJECUCIÓN   FASE 1 FASE 2 FASE 3  DESDE APROBACIÓN: 33 49 80  DESDE EFECTIVIDAD DEL CONTRATO: 30 47 72    PERIODOS DE DESEMBOLSO    FASE 1 FASE 2 FASE 3  FECHA ORIGINAL DE DESEMBOLSO FINAL: 06/20/11 12/18/12 07/29/14  FECHA ACTUAL DE DESEMBOLSO FINAL: 06/20/12 12/15/14 07/29/18  EXTENSIÓN ACUMULATIVA (MESES): 12 24 48  EXTENSIÓN ESPECIAL (MESES): N/A N/A 24  DESEMBOLSOS  MONTO TOTAL DE DESEMBOLSOS A LA FECHA: 100% 100% 100%  GRÁFICA DE DESEMBOLSOS         39.00 67.47 69.73 70.00 69.87 36.00 76.65 88.65 92.58 100.00 99.85 43.00 47.75 47.75 71.32 76.82 80.00 78.66 0 10 20 30 40 50 60 70 80 90 100 110 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 Millones US$ Avance de desembolsos  Fase 1Fase 2Fase 3","v    REDIRECCIONAMIENTO: ESTE PROYECTO:   FASE 1 FASE 2 FASE 3  ¿RECIBIÓ FONDOS DE OTRO PROYECTO? NO NO NO  ¿ENVIÓ FONDOS A OTRO PROYECTO? NO NO NO      Calificaciones del desempeño '... 284686 more characters,
  url: 'https://api.openai.com/v1/embeddings'
},
request: Request {
  [Symbol(realm)]: [Object],
  [Symbol(state)]: [Object],
  [Symbol(signal)]: [AbortSignal],
  [Symbol(headers)]: [HeadersList]
},
data: { error: [Object] }

}, isAxiosError: true, toJSON: [Function: toJSON], attemptNumber: 7, retriesLeft: 0 } Projects/gpt4-pdf-chatbot-langchain/scripts/ingest-data.ts:44 throw new Error('Failed to ingest your data'); ^

Error: Failed to ingest your data at run (Projects/gpt4-pdf-chatbot-langchain/scripts/ingest-data.ts:44:11) at process.processTicksAndRejections (node:internal/process/task_queues:95:5) at (Projects/gpt4-pdf-chatbot-langchain/scripts/ingest-data.ts:49:3)

Node.js v18.16.0

I am parsing just one pdf as test, but nothing. The repo was cloned yesterday. Any advise?

spacepirate0001 commented 1 year ago

You are hitting openai embeddings limit. You need to use the payed version or maybe try gpt-3-turbo model.

status: 429, statusText: 'Too Many Requests'

capecha commented 1 year ago

I tried to parse the same process using Python, and it worked. Would you happen to have an idea of what this is the case with this repo?

spacepirate0001 commented 1 year ago

Probably because the embeddings / vector creation is sending a higher number of requests than what you are describing.

chenlei821005 commented 1 year ago

Hey guys, I finally found out the reason for the ingest failure. Please check the API permission date on your own OpenAI account. OpenAI only provides a 3-month validity period for unpaid users. If you want to continue using it, you need to pay for it.

pki89 commented 1 year ago

Having a similar issue, but not getting an error description as detailed as the OP:

rl: 'https://api.openai.com/v1/embeddings' }, request: Request {

}, data: { error: [Object] } }, isAxiosError: true, toJSON: [Function: toJSON], attemptNumber: 7, retriesLeft: 0 } c:\xxx\gpt4-pdf-chatbot-langchain\scripts\ingest-data.ts:44 throw new Error('Failed to ingest your data'); ^

Error: Failed to ingest your data at run (c:\xxx\gpt4-pdf-chatbot-langchain\scripts\ingest-data.ts:44:11) at process.processTicksAndRejections (node:internal/process/task_queues:95:5) at (c:\xxx\gpt4-pdf-chatbot-langchain\scripts\ingest-data.ts:49:3)

Tried GPT 3.5. API aint outdated.

IT-Forrest commented 1 year ago

Hey guys, I finally found out the reason for the ingest failure. Please check the API permission date on your own OpenAI account. OpenAI only provides a 3-month validity period for unpaid users. If you want to continue using it, you need to pay for it.

I got the same error "Too many Requests. Error 429". And the problem is resolved by money :) namely, to add a payment method to the openAI API key via this link https://platform.openai.com/account/billing/overview A 5$ pending will be made to your account and reversed within 7 days. https://help.openai.com/en/articles/7438062-after-updating-my-api-payment-method-i-noticed-a-5-charge-is-this-a-temporary-hold

IT-Forrest commented 1 year ago

@chenlei821005 if no objection, we might close this issue

dosubot[bot] commented 1 year ago

Hi, @chenlei821005! I'm Dosu, and I'm helping the gpt4-pdf-chatbot-langchain team manage their backlog. I wanted to let you know that we are marking the issue titled "Error: Failed to ingest your data" as stale.

From what I understand, you encountered an error while trying to modify PDF files and consistently received the same error message. Another user named spacepirate0001 suggested that the error might be due to hitting the openai embeddings limit and recommended trying the paid version or the gpt-3-turbo model. However, you later discovered that the issue was related to the API permission date on your OpenAI account and that unpaid users need to pay for continued usage.

Before we close this issue, we wanted to check with you if it is still relevant to the latest version of the gpt4-pdf-chatbot-langchain repository. If it is, please let us know by commenting on the issue. Otherwise, feel free to close the issue yourself, or it will be automatically closed in 7 days.

Thank you for your understanding and contribution to the gpt4-pdf-chatbot-langchain project!