Open CT-igiul opened 3 years ago
pileus
commented
3 years ago purtroppo l'eterogeneità dei metodi di raccolta dati nelle varie regioni, differimento fra diagnosi e segnalazione, i cambiamenti in corsa delle policy nelle stesse senza ricostruzione retrospettiva dei dati precedenti (oltre talvolta a palesi errori logici) portano a datasets scarsamente consistenti e qualsiasi tentativo di modellazione o di inferenza su questi al risultato "garbage in - garbage out"
CT-igiul
commented
3 years ago P.f. non chiudete questa ISSUE. Non ho avuto tempo questa mattina ma nel pomeriggio risponderò a pileus che ringrazio per aver dato un suo commento e parere. Grazie
CT-igiul
commented
3 years ago Ciao. Concordo con te, pileus, che eterogeneità di raccolta regionale, il disallineamento fra segnalazione e diagnosi (vedi dati del lunedì) e il proliferare di policy possano ostacolare una corretta interpretazione dei dai raccolti in questa sede e utilizzati quotidianamente dal governo per colorate l'Italia in questi giorni, ma non sono d'accordo sulla mancanza di una ricostruzione retrospettiva dei dati precedenti che curo, con molta attenzione, dall'inizio di aprile e che ho pubblicato e pubblico ancora oggi nel mio WiX. Sono un'ingegnere, da poco più di un anno in pensione, della generazione dei "figli dei fiori" laureato al Politecnico di Torino in un epoca in cui studiare era una cosa estremante seria e difficoltosa (usavo ancora il regolo calcolatore e niente software sofisticati se non il FORTRAN77 che ho utilizzato per parecchi anni sui mainìframe) specialmente se eri un siciliano che doveva emigrare per raggiungere i propri sogni e credimi, in più di vent'anni di progettazione in campo motoristico aeronautico, di errori logici ne sono stati fatti tanti ma tutti alla fine capiti e risolti per riaggiustare il tiro e fare quasi sempre sempre centro. In cielo non esiste il soccorso ACI e quindi la precisione è stata sempre un mio obiettivo da perseguire e raggiungere. I data set che tu definisci "scarsamente inconsistenti" sono gli unici che abbiamo a disposizione in un momento in cui la criticità è tale da poter essere possibile che contengano errori ma, la legge dei grandi numeri, agisce da minimizzatrice degli errori e fa si che l'andamento globale dei dati del passato ci possa aiutare a prevedere possibili andamenti futuri con margini di sicurezza accettabili. Al di fuori di questi dati che tu definisci "spazzatura" non abbiamo nulla e per me invece sono preziosi e utili perché mi hanno permesso di intravedere e capire comportamenti della pandemia che molti specialisti e governanti non avevano capito prima. Se hai tempo prova a scorrere i miei POST e dal titolo capirai le emozioni e i disappunti che manifestavo, non nei dati pubblicati in questa sede, ma nell'incapacità manifestata dagli addetti e di chi ha le leve del comando. Ancora oggi lavoro su questi dati di cui ne verifico quotidianamente la coerenza e posso dirti che li aspetto con ansia ogni pomeriggio dopo le 17:00 per aggiornate tutti le mie curve previsionali. GIGO è poco propositivo e non mi dai una proposta di alternativa o miglioramento. Hai chiuso la tua risposta con un pessimismo che in questo momento non aiuta. Tentativi di modellazione ne ho fatti tanti e molti li ho sostituiti perché, man mano che capivo di più, li ritenevo inadatti. L'inferenza negata è crudele quanto l'assenza di volontà di utilizzare i pochi dati che abbiamo a disposizione per sforzarci di capire come procedere per affrontare uno tsunami che ha sconvolto tutte le nostre vite. Sono nato nel 1952 ma ho ancora tanta voglia di capire ed essere propositivo, sicuro che I "numeri non mi tradiranno mai". Mi auguro che tu possa riconsiderare il tuo pessimismo e modificare l'atteggiamento di sconfitta fatalista in uno di vittoriosa rivincita. Prova leggere questi miei due post del 28 aprile:
https://www.luigitomaselli.com/post/la-voce-dei-numeri-silenziosi-parte-1 https://www.luigitomaselli.com/post/la-voce-dei-numeri-silenziosi-parte-2-prede-e-predatori
Aggiungo solo l'ultimo ritornello di VIA DEL CAMPO del grande Fabrizio de Andrè Dai diamanti non nasce niente Dal letame nascono i fior Dai diamanti non nasce niente Dal letame nascono i fior
Tutto ha un significato in questo mondo, anche quello che pensiamo possa essere spazzatura. Nella nostra realtà fisica, il campo è conservativo e la seconda legge della termodinamica è immodificabile!
Con simpatia
pileus
commented
3 years ago Guarda non c'era polemica nel mio intervento
Lavoro quotidianamente con dati spazzatura nella soluzione di problemi che devo risolvere per lavoro nell'area del machine learning et similia perché sovente non c'è modo di ottenere datasets puliti, anzi è festa quando capita di averli fra le mani.
Detto questo quando ci siamo trovati a stimare l'evoluzione della prima ondata ci era parso subito chiaro a fine marzo che tante, troppe variabili prese a sistema per elaborare modelli erano inconsistenti e le variabili non affette da discrezionalità erano alla fine solo 1: i ricoveri in TI.
A inizio aprile ci era ormai evidente un problemone di sample selection e di come il numero reale di casi poteva essere da 8 e 18 volte tanto.
Ora va un filo meglio ma fino a un certo punto, tipo se salta il tracciamentoin una regione salta la consistenza del dato e Il problema di sample selection si ripresenta a "semaforo".
Se ogni regione considera diversamente i dimessi (e le stesse cambiano politica ogni zerodue) le prevalenze divengono fortemente aleatorie (vedi i due issue che ho aperto tempo fa).
E' difficile fare stime di progressioni logistiche in presenza di errori nei dati in ingresso anche di un ordine di grandezza.
Quello volevo dire con quanto scritto nel precedente post è che faccio fatica a capire come nel 2020 non vi sia da parte delle istituzioni un approccio open data e si continui a mantenere opaco l'accesso ai dati
CT-igiul
commented
3 years ago Angelo, Non ho mai dubitato del fatto che non ci fosse polemica da parte tua anzi, credimi, mi ha fatto molto piacere leggere la tua risposta che ho solo intetpretato come sconfortata e senza possibilità di acuna soluzione. Sto sempre lavorando per convincere chi mi legge che i dati presentati dai media non sono quelli che servirebbero per capire meglio l'evoluzione pandemica. Ho contattato, ovviamente con insuccesso, testate giornalistiche, televisive ed anche il ministro della Salute Speranza per tentare di offrire un minimo contributo ma nessuno mi ha mai risposto. Oggi ho quasi finito un nuovo lavoro in cui ho rielaborato i dati pandemici pubblicati in GitHub COVID19. A breve lo pubblicherò e sarei felice di avere un Tuo parere. Concorto con te circa l'approccio istituzionale poco collaborativo e l'opacitá dei dati poco accesdibili. Ma questo è un retaggio culturale che ci portiamo addosso da troppo tempo e difficile da modificare. Ho lavorato anni all'estero dove ho potuto apprezzare metodologie e strategie che in Italia sono ancora inammissibili per quanto detto prima. Nonostante tutto sono un ottimista perseverante che crede nel lieto fine. Non ho alternativa e continuerò a produrre documentazione per far valere le mie previsioni e conclusioni. Grazie ancora e a presto. Luigi
Il sab 21 nov 2020, 16:47 Angelo Bertozzi notifications@github.com ha scritto:
Guarda non c'era polemica nel mio intervento Lavoro quotidianamente con dati spazzatura nella soluzione di problemi che devo risolvere per lavoro nell'area del machine learning et similia perché sovente non c'è modo di ottenere datasets puliti, anzi è festa quando capita di averli fra le mani. Detto questo quando ci siamo trovati a stimare l'evoluzione della prima ondata ci era parso subito chiaro a fine marzo che tante, troppe variabili prese a sistema per elaborare modelli erano inconsistenti e le variabili non affette da discrezionalità erano alla fine solo 1: i ricoveri in TI. A inizio aprile ci era ormai evidente un problemone di sample selection e di come il numero reale di casi poteva essere da 8 e 18 volte tanto. Ora va un filo meglio ma fino a un certo punto, tipo se salta il tracciamentoin una regione salta la consistenza del dato e Il problema di sample selection si ripresenta a "semaforo". Se ogni regione considera diversamente i dimessi (e le stesse cambiano politica ogni zerodue) le prevalenze divengono fortemente aleatorie (vedi i due issue che ho aperto tempo fa). E' difficile fare stime di progressioni logistiche in presenza di errori nei dati in ingresso anche di un ordine di grandezza. Quello volevo dire con quanto scritto nel precedente post è che faccio fatica a capire come nel 2020 non vi sia da parte delle istituzioni un approccio open data e si continui a mantenere opaco l'accesso ai dati
— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/pcm-dpc/COVID-19/issues/934#issuecomment-731596267, or unsubscribe https://github.com/notifications/unsubscribe-auth/AQ6UMNFPJ6M4D4JGWITNDDLSQ7OHRANCNFSM4TY6UORQ .
CT-igiul
commented
3 years ago Angelo, ti invito il link promesso sul lavoro, aggiornato ad oggi, che sto facendo con i dati pubblicati quotidianamente in questo sito. Mi interesserebbe molto il Tuo parere. Grazie
Home: https://www.luigitomaselli.com
Una saluto Luigi
pileus
commented
3 years ago Luigi complimenti intanto per il lavoro svolto Nel complesso però ritengo che i dati dei contagi giornalieri e dei casi risolti non possano essere usati "as is". Mi spiego: inizialmente, in primavera, la letalità apparente era smodatamente alta così come il numero di ricoveri in TI. Mano a mano che i dati cominciavano ad arrivare anche da altre nazioni, diveniva evidente come letalità apparenti al 18% e un numero di asintomatici o paucisintomatici assolutamente minoritario rispetto al totale erano tutti dati privi di senso. In questo caso l'assenza di tracciamento e le prime politiche di test esclusivamente rivolte a chi presentava sintomi gravi ha determinato enormi problemi di sample selection. Per dirti anche il sottoscritto s'è fatto un giro di covid 15 giorni prima del paziente 1 lombardo e con me una parte di chi lavora al mio piano. Un mese di convalescenza, lockdown e non ho messo piede fuori casa praticamente fino al rientro; Li l'azienda fa fare facoltativamente sierologici quantitativi e qualitativi che risultano farciti di IGG; faccio presente al curante che si va a rivedere le mie radiografie fatte in quel periodo e con il senno di poi, mi conferma che era stra-probabile che problema fosse quello, anche perchè i sintomi tipici c'erano tutti. Nessuno di noi risulta in nessuna statistica ufficiale Tornando a bomba sul dato, con l'inizio del tracciamento in estate abbiamo riportato il numero di contagi rilevati vicino ai reali, a 1:1,2 nella migliore delle ipotesi contro il 1:8/1:18 primaverile. I dati che iniziano ad essere caricati sui repo da cui attinge chi come me si occupa di ML e AI iniziano a mostrare con grandi numeri la "distribuzione di probabilità" della gravità delle manifestazioni cliniche, che può essere presa a benchmark, come la mortalità per fasce d'età rapportata alla mortalità media dell'influenza stagionale, leggermente inferiore negli infanti, pari nei ragazzi, 5x nei quarantenni, oltre 20x negli anziani. Poi in ottobre / novembre il tracciamento salta per aria di nuovo, la mortalità aumenta, il numero di asintomatici cala e il numero di ricoverati in TI per 100 casi sale, contestualmente alle letalità apparenti. Ci sono regioni che hanno tenuto meglio mentre altre hanno un conto di casi che confrontato con gli occupanti i reparti di TI e i morti registrati dimostrano una sottostima importante. In questo periodo è assai probabile che i casi reali siano 1:2,2 / 1:2,5 e che stiamo vedendo in realtà ora una stabilizzazione e non ancora un calo deciso se non solo in alcune regioni. Il momento vediamo la mortalità aumentare dello 0.4-0.5 per mille al giorno (e non possiamo ascriverle a saturazione delle TI) in presenza di un età media più o meno costante, condizione che suggerisce perdita costante del contenuto informativo del numero dei contagi Se il reale trend di contagi è discendente è probabile lo vedremo solo dall'inizio della prossima settimana quando anche i morti giornalieri dovrebbe cominciare a scendere. Un capitolo ancora più complesso è relativamente ai dimessi / guariti; alcune regioni sommano i clinicamente guariti ai dimessi (ottenendone un numero totale superiore ai casi registrati), altre riportano solo i clinicamente guariti, altre ancora evidentemente solo i dimessi. Non solo, chi usa una modalità talvolta passa ad un altra da un giorno all'altro o salda migliaia di casi di cui evidentemente ha perso le tracce durante il follow up. Un rapido excursus fra le regioni relativamente al capitolo guariti la si può fare su https://covid19.infn.it/mappa_regioni/# dove appare evidente come ognuno esponga una variabile ottenuta in modo diverso Questo è un po il motivo di quanto ho scritto nei precedenti post. Tocca fare i salti mortali per trarre informazioni dai dataset ufficiali che siano minimamente consistenti. Al momento, o almeno fino a che non si saturano le TI o i reparti, hanno valore informativo il numero ospedalizzati, ricoveri in TI e numero decessi, ma anche qui non avendo il numero di ingressi e dimessi e il numero di interventi del 118 per motivi respiratori (lo fa solo la Lombardia) capiamo le tendenze solo 10-15 giorni dopo
CT-igiul
commented
3 years ago Ciao Angelo, Grazie per avermi risposto e per apprezzare il mio lavoro. Sono consapevole che i dati non possono essere utilizzati così come sono, grezzi e talvolta imprecisi, ma che bisogna inquadrarli in un contesto pandemico (ed confusional-emotivo all'inizio) e normalizzarli rispetto a parametri he ne possano dare una confrontabilità. Tutto il mio lavoro mirava e mira a questo soprattutto per capire quale sia il migliore. Il mio INDICE DI CONTAGIOSITÀ credo sia il miglior parametro che in questo momento posso concepire. Mi dispiace che Tu abbia dovuto passare l'imbuto del contagio e della quarantena ma mi sembra che Tu adesso stia bene. Il mese scorso sono andato a trovare i miei figli e per garantire un rientro ho fatto da privato un sierologico e due tamponi rapidi, tutti negativi. Concordo con le tue analisi e col fatto che l'aumento di mortalità di questo settimane era inevitabilmente prevedibile e che il trend in discesa che già appare diverrà evidente nelle prossime due settimane. Il massimo è stato superato e ci si sta avviando verso una derivata prima negativa. Concordo pure la tua affermazione circa la difficoltà di avere DATASET affidabili ma al momento abbiamo solo questi e io credo nei grandi numeri che alla fine ci garantiscono un po.
Ti allego il link all'ultimo mio post di oggi in cui ho aggiunto e presento i nuovi GRAFICI A BOLLE REGIONALI oltre quelli NAZIONALI. Grazie all'interattività si potranno controllare tutti i dati pandemici relazionati e gli INDICI di controllo. Buona serata.
Buonasera a tutti. Con riferimento alla mia ISSUE aperta ieri e poi chiusa: _variazione_totale_positivi = 5.294 è corretto?, volevo capire se i 21.554 dimessi/guariti di ieri fossero numeri relativi solo al 16 e 17 novembre o erano un riallineamento di dati passati. Dico questo perché il dato di oggi dei nuovi_positivi si è triplicato passando a 16.026. Nelle mie personali valutazioni, che utilizzano i Vs dati, valuto da mesi un MIO INDICE DI CONTAGIOSITÀ (I.d.C.)che questa sera è di nuovo in leggera risalita ma il cui trend dal giorno 01/10/2020 è in discesa come mostrato nel grafico a bolle che allego. Questo indice che rapporta l'incremento dei positivi fra il giorno e quello precedente col numero totale dei positivi è tale da raccontare la storia dell'evoluzione pandemica e a mio pare l'unico che meglio descrive l'andamento dei contagi.
L'I.d.C. di ieri si era attestato infatti ad un valore che non seguiva il trend dei giorni precedenti.
Volevo segnalare inoltre che l'indice comunicato dai media e chiamato incorrettamente Indice di Contagiosità e solo un rapporto giornaliero fra il numero dei Nuovi Casi ed i Tamponi effettuati che, a mio parere, non rappresenta alcuna contagiosità. Io questo indice che pubblico da mesi l'ho battezzato come INDICE DI PERICOLOSITÀ di cui vi allego il grafico a bolle;
Alla fine vi allego la Tabella Sinottica che inserisco quotidianamente nei miei POST e che mi permette di controllare eventuali errori. I dati nelle due righe superiori son quelli NAZIONALI da Voi pubblicati all 17:00 di ogni giorno.
Se foste interessati a vedere come vengono utilizzati i Vs dati vi invito a leggere quanto pubblicato nel mio WiX https://www.luigitomaselli.com/
ed in particolare negli ultimi POST dei quali vi allego il link dell'ultimo di stasera: https://www.luigitomaselli.com/post/oggi-17-11-2020-l-indice-di-contagiosità-e-in-aumento-ma-il-trend-dal-01-10-2020-e-in-diminuzione
Siamo in una fase critica in cui il contributo di tutti potrebbe essere utile alla comprensione dell'evoluzione pandemica per cui Vi inviterei a considerare le mie proposte. Grazie Luigi