Requisitos para ETL segundo semestre

[omazapa]

@restrepo @gabrielvelezcuartas y @fedevergara por favor poner acá lo que se considere se requiere para la corrida. ¡Gracias!

DBs de datos a actualziar:

• [ ] openalex
  • [x] Descarga
  • [x] Descompresón
  • [x] Carga a MongoDb
  • [x] Carga a ElasticSaerch
  • [ ] Corte de datos Colombia (https://github.com/colav-playground/openalex_load)
  • [ ] Soporte de los datos CIARP para buscar esos productos en openalex
  • [ ] Actualizar las nuevas categorias de Datos abiertos de minciencias
• [x] Datos Abierto Minciencias (Yuku)
  • [x] GroupLac Groups
  • [x] GroupLac Production
  • [x] CvLac (Scrapping)
• [x] ScimagoJR solo 2024
• [ ] Google Scholar (¿se toma todo lo que hay en works?)
  • [ ] Generar la db para Moai
  • [ ] Comprar proxies
• [x] UdeA
  • [x] talento humano
  • [x] CIARP
  • [x] Dump Scienti
• [ ] Univalle
  • [ ] talento humano
  • [ ] CIARP
  • [ ] Dump Scienti
• [ ] U Externado
  • [ ] talento humano
  • [ ] Dump Scienti
• [ ] Unaula
  • [ ] talento humano
  • [ ] Dump Scienti

Desarrollos:

• [x] SIIU (entidad proyectos)
  • [x] Kahi_siiu_project
• [ ] plugin staff con el nuevo estandar de datos
  • [ ] Kahi_staff_affiliations
  • [ ] Kahi_staff_person
• [x] plugin CIARP con el nuevo estandar de datos
  • [x] Kahi_ciarp_works

Para poder que aparezca correctamente la etiqueta del tipo en frontend me tocó sacar correctamete tipo y subtipo

• [x] KayPacha SIIU

  • [x] corregir tipo en kaypacha desde el esquema sql https://github.com/colav/KayPacha/pull/16

• [x] Corregir el problema de los bibtex de google scholar en kahi

[gabrielvelezcuartas]

Omar todas las bases de datos, excepto GS por ahora porque no empezamos a tiempo la compra de proxies y las db de las universidades que nos alcancen a entregar. Mañana resuelvo lo de los proxies para ver qué opciones tenemos y necesito me ayude a poner alertas más tempranas para el próximo semestre sea en calendar o aquí si es posible. De los desarrollos pensaría que solo siiu en lo que conozco que podemos hacer. Pero dejo a Diego y Fee que me corrijan.

[gabrielvelezcuartas]

Omar, uno de los compromisos de entrega que tenemos en los convenios es construir un flujo de trabajo para las actualizaciones. Podrías convertir este listado en un documento corto que explique el flujo de trabajo de la actualización de datos? Este flujo nos serviría para publicarlo inclusive pensando en la transparencia de la plataforma.

[omazapa]

Hola profe Gabriel claro que si