juancri / covid19-vaccination

COVID-19 Vaccination (JC Olivares)
6 stars 1 forks source link

Automatizar completamente el proceso #8

Closed juancri closed 3 years ago

juancri commented 3 years ago

Estoy intentando automatizar completamente el proceso.

El primer approach será utilizar puppeteer para obtener los headers necesarios (cookies y token csrf) para luego hacer los requests de los reportes.

juancri commented 3 years ago

Logré automatizar el proceso. Solo falta ordenar los archivos descargados de los jobs para poder procesarlos.

Video

juancri commented 3 years ago

Ya pude identificar cada request con el archivo correspondiente. Estoy migrando el código del prototipo al software principal.

Incorporar nuevos sets de datos necesitará una refactorización.

Video

juancri commented 3 years ago

El refactoring está completo, pero el sitio del DEIS está fallando Screenshot at 2021-02-10 03-06-46

juancri commented 3 years ago

Proceso automatizado:

$ make && node dist/main.js 
npx eslint src
rm -rf dist/
npx tsc
Opening...
Setting viewport...
Sleeping...
Looking for frame
Found 2 frames
Frame: true
Frame wait for selector: true
Waiting for selector...
Closing...
No match found for https://informesdeis.minsal.cl/reportData/jobs?indexStrings=true&embeddedData=true&executorId=d489853d-900c-4e99-9a08-6a63176915fa&wait=30&jobId=d489853d-900c-4e99-9a08-6a63176915fa_c0&sequence=1: {"@element":"SASReport","xmlns":"http://www.sas.com/sasreportmodel/bird-4.2.4","nextUniqueNameIndex":9,"dataDefinitions":[{"@element":"ParentDataDefinition","name":"dd1","businessItems":[{"name":"bi4","@element":"SyntheticDataItem"},{"@element":"SyntheticItems","name":"si6","items":[{"name":"bi7","@element":"Item","purpose":"language"},{"name":"bi8","@element":"Item","purpose":"description"}]}],"childQueryRelationshipType":"independent","dataDefinitionList":[{"@element":"DataDefinition","name":"dd2","type":"procedural","proceduralQuery":{"@element":"ProceduralQuery","type":"licenseInfo","arguments":[{"@element":"Argument","purpose":"server","argumentValue":{"@element":"StringValue","value":"cas-shared-default"}},{"@element":"Argument","purpose":"type","argumentValue":{"@element":"StringValue","value":"list"}},{"@element":"Argument","purpose":"license","argumentValue":{"@element":"ReferenceValue","value":"bi4"}}]},"resultDefinitions":[{"@element":"ResultDefinition","name":"dd3","purpose":"primary"},{"@element":"ResultDefinition","name":"dd5","purpose":"languages","syntheticItemsList":["si6"]}]}]}],"sasReportState":{"@element":"SASReportState","data":{"@element":"Data_State","queryRequests":[{"@element":"queryRequest","data":"dd1","dataLevel":"custom"}]},"date":"2021-02-10T11:21:26.157Z"}}
Vacunación en Chile hasta el 10/02/2021:

Primera dosis: 1.025.580 personas (6,83%)
Segunda dosis: 41.778 personas (0,27%)

(Calculado en base a un universo a vacunar de 15 millones de personas)

#Covid19Chile