Ci si può fidare dei trial clinici? Il 2 per cento si basa su dati fasulli

L’accusa

Ci si può fidare dei trial clinici? Il 2 per cento si basa su dati fasulli

A volte si tratta di malafede, in altri casi di errori più innocenti. Il risultato però non cambia
redazione

Il titolo dello studio è volutamente provocatorio e sembra spingere i media a lanciare l’allarme: i dati di molti trial clinici sono manipolati e i risultati inattendibili. L’autore è l’anestesista inglese John Carlisle diventato popolare nel 2012 per avere smascherato il campione delle frodi scientifiche Yoshitaka Fujii, della Toho University di Tokyo, detentore del record di articoli ritirati perché basati su dati fasulli costruiti ad hoc, tutti troppo belli per essere veri. 

Nel caso di Fuji, riconosciuto truffatore, si era parlato di “data fabrication”. Lo stesso termine accusatorio campeggia oggi sull’articolo di Carlisle pubblicato sulla rivista Anesthesia che mette in discussione l’attendibilità di quasi 100 studi scientifici ospitati su 8 riviste mediche, comprese le prestigiose Jama e New England Journal of Medicine con rispettivamente 12 e 9 articoli problematici.  L’intento sembra quello di lanciare una nuova bomba contro il sistema di controllo adottato dalle pubblicazioni scientifiche. Il titolo in questione è infatti “Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals”.  Qualcuno però invita alla cautela. Il metodo di Carlisle non è infallibile e inoltre, per stessa ammissione dell’autore, non è detto che le incongruenze riscontrate siano sempre dovute alla mala fede. Insomma, il “caso Fujii” è una cosa, questa è un’altra. 

Carlisle ha analizzato 5 mila studi pubblicati tra il 2000 e il 2015, tutti basati sui risultati di trial clinici controllati randomizzati. Scoprendo che in molti casi veniva trasgredita la prima regola che garantisce risultati affidabili. Ovvero: la distribuzione del campione tra i due gruppi, quello di controllo e quello trattato con terapie o altro da testare, deve essere del tutto casuale. 

Con qualche aggiornamento al metodo statistico felicemente impiegato nel “caso Fujii”, Carlisle è riuscito a dimostrare che nel 2 per cento degli studi si trovano dati statistici improbabili, poco o per nulla compatibili con il puro caso. 

Il preoccupante scenario dipinto su Anesthesia viene immediatamente messo in vetrina sul sito Retraction Watch, il blog giornalistico che monitora le frodi scientifiche, attirando l’attenzione di scienziati ed editori e sollevando la legittima domanda: perché tutto ciò sfugge al controllo?

Come afferma lo stesso Carlisle, le storture saltate agli occhi dell’abile statistico non sono sempre opera di truffatori, possono derivare anche da comportamenti più innocenti come semplici errori. In ogni caso, però, i dubbi sulla efficacia del monitoraggio da parte degli editori restano in piedi. Come migliorare la procedura di valutazione degli articoli? Tutte le riviste scientifiche potrebbero per esempio agire in maniera preventiva sottoponendo gli articoli ricevuti alla “prova di Carlisle” (il metodo è disponibile gratuitamente on-line) nella fase precedente alla pubblicazione. Così come sta facendo la rivista Anesthesia da un anno a questa parte. Ma gli autori dell’editoriale che ha accompagnato l’articolo di Carlisle non pensano sia una buona idea: chi è in malafede può trovare facilmente il sistema di aggirare l’ostacolo. Loro stessi sanno come fare, ma si guardano bene dal dirlo.

 Avrebbe più senso invece, secondo i due editorialisti, effettuare i controlli a ritroso. 

«Ogni giornale dovrebbe applicare il metodo di Carlisle a tutti i trial clinici randomizzati che ha pubblicato». Ma fino a che punto è necessarie andare il dietro nel tempo? Se ne dovrà discutere in futuro. Nell’immediato, invece, si può fare qualcos’altro.

«Innanzitutto gli editori di ciascuna rivista inclusa nello studio di Carlisle devono urgentemente controllare i trial clinici risultati più problematici a causa di errori o di ragioni meno innocenti. E, se necessario, procedere a correggere o a ritirare lo studio». Per il momento, gli editori di Jama e del New Englan Journal of Medicine si sono limitati a rassicurare Retraction Watch che avrebbero letto lo studio di Carlisle e poi valutato cosa fare.