search

hermescenter / monitorapa

Lo sviluppo continua su https://github.com/MonitoraPA/monitorapa/
https://monitora-pa.it
Other
27 stars 21 forks source link

Generare un unico file invece di vari txt #13

Closed Mte90 closed 2 years ago

Mte90 commented 2 years ago

Questo rende più prestante il tutto, ovvero se ad ogni richiesta deve salvare un file con del contenuto è un bel daffare per analizzare il contenuto e parsarli.

Conviene fare una coda che tipo ogni 10 analisi salva tutto in un file JSON.

fpietrosanti commented 2 years ago

Se usassimo direttamente come database i records del file amministrazione.txt aggiungendo colonne TSV, sarebbe il massimo, così tutti gli script fanno I/O su amministrazione.txt

Mte90 commented 2 years ago

I miei dubbi sono su questo output https://github.com/hermescenter/monitorapa/blob/main/point3.py#L42 dove ci sono i dati della richiesta.

Fare un tsv potrebbe essere limitante perché un altra cosa che si può fare è tipo verificare se i siti sono in HTTPS o meno (che è pur sempre sicurezza) e quindi ci serve un altro dato. Per quello sono per un JSON (che si può sempre convertire come csv/tsv) così è più facile da elaborare.

fpietrosanti commented 2 years ago

Si chiaro, meglio un file in formato custom per aggiungere altri checks, btw l'importante è che point3 poi riconcili tutto come dati estesi di amministrazioni.txt per rendere analizzabile senza codice custom i risultati su spreadsheet