Open RodolfoFerro opened 4 years ago
Buenas noticias: El gobierno sigue manteniendo el reporte diario en PDF 🎉 😄 Ya no hace la re-dirección que hacia antes el sitio.
https://www.gob.mx/salud/documentos/coronavirus-covid-19-comunicado-tecnico-diario-238449
Hola, si necesitan ejecutar tareas periodicamente para extrear la información cada determinado tiempo se puede integrar Django + Celery. Espero pueda apoyar de esa manera. Saludos :metal:
Qué onda @RaulNovelo, me parece que justo para los cron jobs @jesusmartinoza ya tiene algo armado, estará bueno si te quieres unir a Jesús y a @jjcordova para revisar el tema del scraping, ellos van a estar armando scrapers de aquí al fin de semana para intentar tener ya algo funcional para entonces. Ya sea que se comuniquen por acá o para más directo en el Slack: http://slack.codeandomexico.org
Btw, @jesusmartinoza si mantienen el schema que ya tenías, podemos ir estructurando la API. 👌 En caso de que sea así, nos rolas el schema y vamos viendo cómo quedan los endpoints. 👍
@RaulNovelo Ahora para las tareas periódicas tengo un cronjob ejecutando un script con Django Extensions. Le echaré un vistazo a Django + Celery.
@RodolfoFerro La base de datos la tengo con este modelo. Para CodeandoMexico se me ocurre manejar archivos CSV así:
states.csv | id | name | longitude | latitude |
---|
cases.csv | id | state_id | sex | age | symptoms_date | origin_country | status(0=Sospechoso, 1=Confirmado) | enter_to_mexico_date (?) |
---|
Para el caso de los decesos está tricky porque el gobierno quita los casos de los reportes 🤔
Perfecto! I'm in :rocket: justo estoy trabajando en unos bots pero con scrapy. Si pueden abrir un canal relacionado a esto seria genial @RodolfoFerro @jesusmartinoza @jjcordova
@jesusmartinoza te puedo hacer un PR con la configuración de Celery y lo revisas cuando vayas a integrar a tu nueva estructura, y anexo una task
para ejecutar tu script
@RaulNovelo ¡Wow! ¡Sería genial! Ya estuve viendo Celery y ya me gusta más que Crontab jaja EDIT: Me agrada lo que dices de pasarnos a Slack, así no spammeamos el issue
Issue correspondiente al hilo de desarrollo de scrapers de la SS con informes de casos en México.
Acá mismo comentamos qué tecnologías se decide utilizar y el esquema de salida para poder trabajar la API.