Se me lo dicevi prima

Occhio ai numeri

Fermiamoci alla domanda di fondo che sia Slate sia Milton affrontano esplicitamente: quanto pubblicato da Lancet è un' informazione utile, con un minimo di qualità, o sono dei numeri che servono solo ad aumentare il casino ?
In altre parole: l'articolo risponde ad un desiderio di saperne più o a quello di imporre una tesi precostituita (in Irak c'è stato un massacro) mascherandola da dato oggettivo ?
Sia Milton sia Slate danno una risposta in sostanza molto netta: i dati sono di una qualità così scarsa da renderli in pratica inutili.
Io non concordo con questa affermazione, che trovo semplificatoria e per certi versi paradossale. Non ho un'opinione chiara di quanto buoni siano quei dati, nè di quanto avrebbero potuto essere migliori, ma penso che prima di liquidarli occorrerebbe un po' di attenzione.
Proverò ad argomentare le mie opinioni con qualche osservazione, per seguire la quale non bisogna essere esperti di statistica (io non lo sono) ma solo capire la lingua italiana e, per chi non vuole controllare i numeri, pensare che io sia in buona fede.

Quello che vedete qui di fianco è un grafico fatto da me un po' in fretta per dare una raffigurazione semplificata ma sostanzialmente corretta dei dati presentati dallo studio di Lancet. (Per chi vuole qualche numero, è una distribuzione normale con valore medio 98000, il valor medio della stima delle vittime dello studio di Lancet, e una deviazione standard di 46000).
La curva blu a forma di campana descrive la probabilità che il numero di vittime abbia un dato valore, quello che leggete sull'asse delle x.

I dati presentati dal lavoro di Lancet dicono: il valore più probabile delle vittime è 98000, che infatti nel grafico rappresenta il picco della campana, ma esiste una probabilità non nulla (il 2.5%) che il valore sia in realtà 8000 (riga viola a sinistra), e una probabilità altrettanto piccola che il valore sia più o meno 190000 (riga viola a destra). E questo ha fatto stracciare le vesti a molti.
Vale la pena ricordare che l'equazione che descrive la campana fa si' che esistano delle 'code' della campana che si estendono all'infinito tanto a destra quanto a sinistra. Nessuno, quindi, analizzando quella curva, puo' dire qualcosa con assoluta certezza. Occhio, però: quella è una curva che descrive i dati, mica sono i dati, e, come tutti i modelli, ha dei limiti intrinseci. Se torniamo al mondo di tutti i giorni, la conclusione di Lancet è 'E' praticamente impossibile, in base ai dati che abbiamo, che le vittime siano meno di 8000 e più di 190000'.
Ma che bravi, dirà qualcuno, io una stima così la potevo fare anche senza andare in Iraq e mica me la pubblicavano su Lancet.

Pensatelo pure, intanto c'è qualcuno che in Iraq ci è andato davvero e che ha tirato fuori quei numeri. Non ci piace questa stima ? Benissimo, con che cosa la possiamo confrontare ? In Iraq siamo di fronte ad un esercito USA che dice 'We don't do body count' e ad un'iniziativa (Irakbodycount) che tenta di fare una stima delle vittime dai report della stampa. Stop. Gli autori del lavoro su Lancet sono i primi che hanno alzato il sedere e hanno provato a fare due conti sul campo con metodi sperimentali sulla carta affidabili.
Chi legge questo blog sa che non sono un positivista nè un fanatico della Scienza, però in questo caso la questione è molto semplice: pensi che lo studio sia fatto male ? Bene, ne hai tutto il diritto; rimane il fatto che l'unico modo per convincermi è farne un altro e farmi vedere i risultati. Sarò il primo a farti i complimenti e a dire che il tuo lavoro è migliore di quello di Lancet.

Seconda valutazione, un po' più sottile: forse non avete mai fatto due conti con una distribuzione a campana come quella disegnata sopra, ma, se li faceste, scoprireste alcune cose interessanti. Per esempio, i dati dello studio di Lancet dicono che al 95% le vittime sono tra 8000 e 190000, che effettivamente è un range enorme. Se però vi dicessi che al 90% i dati sono tra 23000 e 174000 (è il range delimitato dalle linee arancioni), qualcuno forse comincerebbe a dire 'Mah, già un pochino meglio'. Se poi ci accontentiamo del 80% (linee rosse), che pure non è malaccio, il range va da circa 40.000 a circa 160.000. Occhio che sono gli stessi dati, solo analizzati ad un diverso livello di probabilità.

Ve lo dico in un altro modo ? La probabilità che i morti siano meno di 23000 è del 5%.
Lo dico ancora in un altro modo ? Secondo lo studio di Lancet, la probabilità che le vittime siano quante stimate da irakbodycount, che da' una stima nell'ordine delle 15.000, è intorno al 3%. Bassina.

Cosa concludiamo ? Che Lancet ha ragione ? Che ce l'ha irakbodycount ? Nessuno lo può dire, fino a controprova, quello che si può dire per ora è solo che le due stime sono molto probabilmente incompatibili. Perchè allora si attacca allegramente lo studio di Lancet, come se chi stima l'incertezza nelle sue valutazioni fosse meno affidabile di chi non lo fa ?
Irakbodycount stima solo un valore medio e non la deviazione standard, perchè non è in grado di calcolarla, e allora ci si fida di Irakbodycount ? E' paradossale, anche senza essere un esperto di statistica.

L'articolo di Slate ha per titolo 'Sono 100.000, ma potrebbero essere 8000'. Tecnicamente è vero, ma è ai limiti della malafede, se si scrive ad un pubblico non sgamato.
Potrebbero essere 8000, certo, ma la probabilità che siano al più 8000 è del 2.5%, mentre quella che siano più di 100.000 è del 50%. Mi sembra ci sia una bella differenza.
In conclusione (chi è arrivato fin qui è un eroe), l'accanimento verso il lavoro di Lancet mi va benissimo, a patto che si usi lo stesso metro per tutti coloro che fanno una stima, delle vittime in Irak come di qualsiasi cosa.
Personalmente, penso sia una cosa molto positiva che qualcuno abbia cercato di fare uno studio il più serio possibile su questo argomento. Il fatto che lo studio sia stato pubblicato da Lancet e poi sia finito in pasto a chiunque è stato un problema. Se, paradossalmente, gli stessi autori avessero pubblicato sul New York Times, dando solo un valore medio della stima e non l'intervallo di errore, nessuno avrebbe battuo ciglio e tutte queste discussioni non sarebbero nemmeno nate.
La stima, certo ha una barra di errore molto grande, ma è la prima stima con una barra di errore, e invece di esserne soddisfatti ci si scandalizza del fatto che questa barra sia grande. L'unico modo per provare a ridurla, davvero, è ripartire per l'Irak e fare un altro studio.
It's as simple as that (si fa per dire).

Scholar.google.com

E pensare che come critico musicale non è malaccio /8673

Il casus belli questa volta è un articolo di Lancet che stima l'aumento della mortalità in Iraq nell' ultimo anno e mezzo e che Rocca, probabilmente non trovandolo comodo per le cose che va dicendo da due anni a questa parte, ha liquidato sul suo blog come una boiata, beccandosi una puntualizzazione di Delio alla quale aggiungo alcune mie valutazioni.

1)Prima di tutto, se uno vuole criticare qualcosa/qualcuno, dovrebbe sapere di chi/che cosa sta parlando, per cui spero che prima di parlare Rocca abbia letto articolo e commento su Lancet (disponibili sul sito della rivista dopo registrazione gratuita).
L'articolo non è troppo difficile ma nemmeno banale; per capire cosa è stato fatto (Sezione 'Methods') bisogna o avere dimestichezza con le tecniche di campionamento ed analisi dei dati utilizzate o farsele spiegare da uno che le conosce.
Io ho faticato a capire alcuni passaggi, per cui accetto a scatola chiusa l'opinione dei reviewer di Lancet, che fino a prova contraria sono nel merito più affidabili di Rocca.
La sezione di discussione dei risultati, invece, è leggibile da tutti, Rocca incluso; come in ogni articolo scientifico, gli autori hanno delineato i possibili limiti del loro lavoro, precisando per esempio che nel dubbio hanno fatto una stima conservativa, rimuovendo i dati di Falluja, che avrebbero fatto schizzare le stime verso l'alto e ipotizzando che metà dell'aumento della mortalità infantile sia un artefatto della procedura di raccolta dei dati.
Rocca le ha lette tutte queste cose ?

2)Se uno non ha il tempo o la capacità di farsi un'opinione su qualcosa, dovrebbe evitare di prendere il primo giornale di nome che gli capita sottomano facendogli dire tutto quel che gli fa comodo. Rocca sostiene che l'Economist ha stroncato il lavoro di Lancet: sarei curioso di chiedere a cento persone di leggere l'articolo di Lancet ed il commento dell'Economist e di vedere quante direbbero che il secondo stronca il primo.
L'Economist, mi sembra molto chiaro, è sulla stessa linea della sezione 'Discussion' dell'articolo e del commento dell'editor di Lancet; se questo vuol dire stroncare significa che gli autori dell'articolo di Lancet si sono autostroncati.

3)Christian Rocca fa di professione il giornalista, cosa che, a mio avviso, gli richiederebbe di essere il più possibile vicino alle notizie di cui parla e di lavorare un minimo prima di scrivere qualcosa. Non è necessario stare in trincea, ma commentare con una battuta il commento di Severgnini al commento dell'Economist all'articolo di Lancet per spalare un po' di merda a destra e a manca è troppo facile. La cosa mi darebbe fastidio in un blogger che spende mezz'ora al giorno sulla sua paginetta web, figurarsi in uno che si guadagna da vivere scrivendo proprio sugli argomenti che liquida con questa facilità.

Ullallà

Deformazione

S. Enrico martire.

Eppure non e' difficile da capire

Sprizzo entusiasmo da tutti i pori

Sommersi