L’oro dei dati

Ieri 26 marzo i dati CoVid-19 relativi ai contagi son tornati a salire ma in conferenza stampa si sono udite parole come si potrebbe essere trattato di un accumularsi di tamponi e comunque la curva resta discendente. Chi lo dice, lo dice sulla base di cosa?

La mia sensazione è che i dati che la Protezione Civile fornisce ogni pomeriggio siano pensati ad uso e consumo della stampa, soprattutto la pseudo-stampa televisiva, che in nome della par condicio ha abolito da anni qualsiasi forma di pensiero critico e azzerato ogni capacità di analisi. Sono un po’ come le pecore di Orwell: ricevono un messaggio e lo amplificano.

Poi si parla di intelligenza artificiale come della bacchetta magica. Anzi si parla delle intelligenze artificiali che fanno cose che voi umani…

La legge fondamentale dell’apprendimento via software (ovvero il machine learning, ovvero lo strumento principale delle cosiddette intelligenze artificiali) è che se nella macchina entra spazzatura non può che uscirne spazzatura. Come direbbero i francesi, shit-in-shit-out.

Il valore del dato digitale si misura secondo due parametri chiave: qualità e integrità.

La qualità del dato indica la rilevanza e il significato che esso ha nel contesto di un problema. In altre parole, il dato mi è utile e sufficiente per capire il problema e analizzarne a fondo la dinamica?

La integrità, invece, fa riferimento alle caratteristiche fisiche del dato raccolto e indica l’affidabilità delle informazioni che da esso vengono estratte. L’integrità si misura attraverso parametri come la completezza, l’unicità, la densità temporale, l’accuratezza e la consistenza.

Perché i dati della Protezione Civile sono spazzatura? Perché i dati forniti, e parlo dei CSV e dei JSON rilasciati ogni pomeriggio, sono spesso:

• Incompleti
• Distribuiti malamente nel tempo
• Non sufficientemente accurati
• Inconsistenti

Il punto più doloroso è la completezza dei dati.

Completezza

Un dato è completo se la sua rappresentazione digitale contiene tutti gli attributi strettamente necessari alla comprensione di un problema da parte dell’uomo e della macchina. Il dato 100 email ricevute è scarno ma sufficiente se è il problema è raccontare una storia alla stampa. Al tempo stesso, però, una strategia di raccolta dati è seria se consente di raccogliere dati minuziosamente e poi aggregarli per scenari. Tornando alle email, raccogliere il totale è insufficiente e per nulla lungimirante. Peggio, non ha nulla a che vedere con paroloni come Open Data con cui le amministrazioni riempiono la bocca e i siti ufficiali. Ben diverso è fornire una tabella di email con colonne per orario, mittente, destinatari in copia, soggetto, testo. Da essa, se necessario, si potrà poi estrarre il semplice totale di quelle ricevute. Chi volesse, però, potrebbe fare ogni sorta di analisi.

Get Dino Esposito’s stories in your inbox

Join Medium for free to get updates from this writer.

Remember me for faster sign in

I dati della protezione civile non comprendono:

• Il dettaglio dei ricoverati per provincia e per comune e/o per ASL. È auspicabile che questi dati esistano e che vengano utilizzati in qualche modo efficace da qualcuno che sappia cosa fare. Ma perché non renderli pubblici in modo capillare?
• Non si conosce il numero di coloro che escono dalla terapia intensiva e la ragione (miglioramento delle condizioni, peggioramento delle condizioni di altri, selezione naturale, sopraggiunta morte)
• Non si conosce la media dei giorni di terapia intensiva e di ricovero. Questo dato poi dovrebbe essere a livello di struttura ma anche aggregato a livello di provincia sarebbe utile per analisi
• L’entità tampone non è ben descritta. Bisognerebbe sapere che tipo di tampone è stato fatto (kit rapido, tampone molecolare, luminescenza) e se è stato ripetuto sullo stesso soggetto per controprova, in quale data e in quale struttura

In questa situazione è oggettivamente difficile pensare di fare machine learning e costruire modelli previsionali che specializzino con parametri specifici i modelli epidemiologici noti. Ma più modestamente è anche difficile comprendere cosa stia succedendo e se una scelta operativa dia risultati buoni o meno.

Densità temporale

La densità temporale fa riferimento alla distribuzione dei dati nel tempo. La frequenza del campionamento, ovvero ogni quanto ha senso raccogliere un dato, dipende dal problema in esame e dagli obiettivi che ci si pone. Buchi nella raccolta e successivi accumuli in avanti rovinano l’integrità del dato.

I ritardi nei risultati dei tamponi, per esempio, han fatto sì che i dati del 26 marzo abbiano segnato un picco inatteso ma in realtà se potessimo riportare i dati ai giorni effettivi vedremmo probabilmente una curva uniformemente discendente, magari meno inclinata ma senza picchi.

Ciò è solo quanto suggerisce l’esperienza ma non esiste (e non esisterà in mancanza di dati sufficientemente densi) la prova oggettiva.

Accuratezza

Un dato è accurato se descrive in modo meticoloso un’entità reale. Ciò significa che ogni attributo ritenuto necessario deve essere fornito. Ad esempio, se parliamo di email allora tutti i campi (Soggetto, CC, Mittente) devono essere compilati. Non vi devono essere buchi nella riga della tabella che rappresenta la descrizione di un’entità.

I dati resi noti dalla Protezione Civile non presentano buchi orizzontali importanti ma al tempo stesso il dato riportato non è necessariamente accurato perché risente di accumuli di informazioni su più giorni (densità temporale) e superficiale descrizione della struttura (completezza).

Inconsistenza

Un dato è consistente se i suoi valori sono coerenti con quelli di altri dati e non in palese contraddizione. Un classico esempio di inconsistenza è trovare un valore negativo laddove ci si aspetta, ad esempio, un totale.

Nel caso del CoVid-19 il report della Protezione Civile contiene solo a livello regionale una colonna che indica il totale dei nuovi casi positivi riscontrati ogni giorno. Tuttavia il 25 marzo tale colonna riportava un -2 sulla riga del Molise.

Il punto è: che significa esattamente il nome nuovi_attualmente_positivi? Significa che la colonna è semplicemente una colonna calcolata riportando la differenza tra il valore corrente della colonna totale_attualmente_positivi e quello del giorno prima. Sarà pure solo un problema di definizione, ma il dato di quanta gente in più è stata scoperta positiva nel giorno non esiste visto che il totale degli attualmente positivi sottrae guariti e deceduti dal totale dei casi.

Dunque?

La cosa peggiore è che questi dati esistono ma molto spesso sono confinati al reparto della struttura ospedaliera e da lì non fuoriescono. Dovrebbero, invece, finire in automatico in un archivio nazionale a cui la Protezione Civile attingerebbe per i suoi report. Non sto parlando di rendere pubblici i dati personali, ma semplicemente di avere dati anonimi molto più precisi e minuziosi.

Poi la politica.

Ieri, 26 marzo, Fontana spara un In Lombardia 2500 nuovi casi. Cos’è quel 2500? In realtà è l’incremento sul giorno prima del totale dei casi CoVid-19, che comprende la storia di tutti coloro che nel tempo sono stati censiti, inclusi guariti e deceduti. In realtà ieri in Lombardia il carico per gli ospedali — che è dato operativo essenziale da monitorare — è aumentato di sole (si fa per dire) 1598 unità, escludendo quindi guariti e deceduti.

Il dato è neutro, non ha interpretazione ed è fatto di freddi atomi numerici. L’informazione fornita, invece, è pre-lavorata e costituita di molecole emozionali di dubbia origine.

Perché non esiste una strategia del dato efficace?

Perché anche la Protezione Civile fatica ad accedere ai dati e lo stesso ISS fatica ad accedere alle cartelle cliniche? Perché la sanità è regionale e ogni regione ha il suo sistema e protegge i suoi dati. Peggio ancora, spesso nelle strutture anche i singoli reparti proteggono i propri dati. Manca completamente il senso ultimo della digital transformation.

Che non è avere file PDF al posto di moduli cartacei.