Requisitos para ETL segundo semestre

[omazapa]

@restrepo @gabrielvelezcuartas y @fedevergara por favor poner acá lo que se considere se requiere para la corrida. ¡Gracias!

DBs de datos a actualziar:

• [ ] openalex
  • [x] Descarga
  • [x] Descompresón
  • [x] Carga a MongoDb
  • [ ] Carga a ElasticSaerch
  • [ ] Corte de datos Colombia
• [ ] Datos Abierto Minciencias (Yuku)
  • [x] GroupLac Groups
  • [x] GroupLac Production
  • [ ] CvLac (Scrapping)
• [ ] ScimagoJR solo 2024
• [ ] Google Scholar (¿se toma todo lo que hay en works?)
  • [ ] Generar la db para Moai
  • [ ] Comprar proxies
• [ ] UdeA
  • [ ] talento humano
  • [ ] CIARP
  • [ ] Dump Scienti
• [ ] Univalle
  • [ ] talento humano
  • [ ] CIARP
  • [ ] Dump Scienti
• [ ] U Externado
  • [ ] talento humano
  • [ ] Dump Scienti
• [ ] Unaula
  • [ ] talento humano
  • [ ] Dump Scienti

Desarrollos:

• [ ] SIIU (entidad proyectos)
  • [ ] Kahi_siiu_project
• [ ] plugin staff con el nuevo estandar de datos
  • [ ] Kahi_staff_affiliations
  • [ ] Kahi_staff_person
• [x] plugin CIARP con el nuevo estandar de datos
  • [x] Kahi_ciarp_works

Para poder que aparezca correctamente la etiqueta del tipo en frontend me tocó sacar correctamete tipo y subtipo

• [x] KayPacha SIIU
  • [x] corregir tipo en kaypacha desde el esquema sql https://github.com/colav/KayPacha/pull/16

[gabrielvelezcuartas]

Omar todas las bases de datos, excepto GS por ahora porque no empezamos a tiempo la compra de proxies y las db de las universidades que nos alcancen a entregar. Mañana resuelvo lo de los proxies para ver qué opciones tenemos y necesito me ayude a poner alertas más tempranas para el próximo semestre sea en calendar o aquí si es posible. De los desarrollos pensaría que solo siiu en lo que conozco que podemos hacer. Pero dejo a Diego y Fee que me corrijan.