Valutazione critica dei risultati delle ricerche in letteratura

[tempo di lettura: 5 minuti]

Riuscire a comprendere l’affidabilità, l’accuratezza e la qualità di uno studio scientifico è un problema di estremo rilievo, per risolvere il quale purtroppo non esistono soluzioni preconfezionate, bensì bisogna ricorrere a molteplici indicazioni e strategie che vanno applicate caso per caso unitamente al buon senso.

Sono numerose le figure che possono aver bisogno di effettuare una ricerca in letteratura: il medico che desidera reperire informazioni più approfondite sulle terapie che vengono applicate nei casi affetti da una determinata patologia, i ricercatori impegnati nella stesura di una revisione sistematica, un paziente che vuole informarsi, ecc.

Esistono numerosissimi criteri per facilitare la valutazione critica degli studi scientifici. I più comuni e generici sono dettati dal buon senso, per esempio è opportuno accertarsi che lo studio sia indicizzato sui motori di ricerca e sia redatto da autori noti e citati in letteratura.

Altri criteri consentono di effettuare una gerarchia degli studi, separandoli in letteratura primaria e secondaria e ordinandoli in base al rigore metodologico. Uno degli schemi concettuali più diffusi è quello della piramide delle evidenze.

Fra gli altri elementi da considerare ai fini di una valutazione critica delle evidenze reperite in letteratura non vi sono soltanto i criteri della validità interna, ovvero in estrema sintesi quelli relativi al rigore metodologico, ma occorre tenere presenti anche altri aspetti fra cui ad esempio la rilevanza clinica, che stima l’entità e la precisione del beneficio ottenuto (non ulteriormente descritta in questa sede), l’applicabilità o generalizzabilità, cioè la misura in cui i risultati possono essere trasferiti al singolo paziente, e la validità esterna, che riguarda la consistenza o riproducibilità della ricerca, ovvero se i suoi risultati possono essere confermati da altri studi.

Validità interna

Per facilitare un processo sistematico di valutazione critica degli studi ed evidenziare la presenza dei cosiddetti bias, cioè dei fattori confondenti o elementi di distorsione, sono stati messi a punto numerosi strumenti, spesso basati su liste di controllo o domande aperte. Ciascuno strumento contribuisce alla soluzione di aspetti specifici e nessuno di essi può fornire una chiave universale. Si ricordano qui soltanto alcuni fra i più noti:

• AGREE II, di cui esiste una traduzione italiana, sviluppato per valutare il rigore metodologico e la trasparenza delle Linee guida.
• CASP checklist, liste di controllo elaborate a partire dal 1993 a Oxford, diversificate per tipo di studio (RCT, revisioni sistematiche, studi qualitativi, studi di coorte, studi diagnostici, studi caso-controllo e altri). Per esempio, le CASP checklist per gli RCT consistono di 11 domande alle quali si può rispondere “sì”, “no” o “non saprei”. La sezione A riguarda la validità del disegno di studio, la sezione B la metodologia, la sezione C i risultati, la sezione D l’applicabilità a livello locale.
• Assessing risk of bias in a randomized trial, uno strumento messo a disposizione dalla Cochrane Collaboration, la nota organizzazione internazionale fondata nel 1993 con lo scopo di raccogliere e sintetizzare evidenze scientifiche accurate e aggiornate sugli effetti degli interventi sanitari. Questo strumento è destinato ai redattori delle revisioni sistematiche e raccomanda di effettuare la valutazione del rischio di bias per ciascuno degli studi inclusi nella revisione che si intende realizzare. Applicando questi criteri si può dare un “punteggio” diversificato in tre livelli, un “basso rischio di bias“, l’espressione di “alcune preoccupazioni” e un “alto rischio”. Fra i vari domini da prendere in considerazione vi sono i bias relativi al processo di randomizzazione, alle deviazioni dagli interventi previsti, ai dati di outcome mancanti, alla misurazione degli outcome, alla selezione dei risultati da considerare nel reporting.
• GRADE, uno gruppo di lavoro nato nel 2000 allo scopo di ridurre la confusione derivante dai molteplici sistemi esistenti per dare un punteggio trasparente alla qualità delle evidenze e delle raccomandazioni. Grazie al dettagliato manuale d’uso permette di assegnare quattro livelli di qualità (alta, moderata, bassa, molto bassa) sulla base di diversi fattori.

La qualità delle prove viene calcolata per singolo esito e permette di definire “fino a che punto si può confidare nel fatto che la stima di un beneficio/anno possa essere usata a favore/contro il raccomandare l’uso di un intervento”.

Il giudizio di qualità secondo le quattro categorie sopra citate può essere aumentato (upgrading) o diminuito (downgrading) di uno o più livelli a seconda che siano presenti limiti, incertezze o imprecisioni nelle varie categorie.

Con il metodo GRADE si può giungere a una valutazione della qualità globale delle prove sulla base degli outcome definiti essenziali, bilanciando i rischi e i benefici derivanti dall’intervento.

Dall’esame della qualità può scaturire la stima della forza di una raccomandazione, che può assumere quattro valori: raccomandazione positiva o negativa, rispettivamente forte o debole. La raccomandazione debole esprime la presenza di incertezza nel rapporto rischio/beneficio, quindi occorre considerare attentamente la condizione del paziente.

Applicabilità

Da ultimo, ma non meno importante, è utile considerare i concetti di efficacy ed effectiveness, ovvero la questione della trasferibilità dei risultati teorici nell’ambito clinico pratico, in altre parole la validità teorica contrapposta alla validità pratica. Spesso gli studi devono rispettare criteri metodologici rigorosi che sono difficilmente riproducibili nella pratica e quindi hanno ripercussioni negativi sull’applicabilità dei risultati al contesto clinico generale.

Per esempio, se la popolazione è stata selezionata in base a criteri di eleggibilità molto stringenti, ciò ridurrà la trasferibilità a pazienti con comorbidità, che assumono altri farmaci, sono anziani o appartengono a minoranze.

Fra i numerosi strumenti che consentono di valutare questi aspetti si ricordano i seguenti:

• RE-AIM, mirato a incoraggiare una maggiore attenzione verso alcuni aspetti essenziali dei programmi, quali la validità esterna, e usato anche per trasferire i risultati della ricerca nella pratica e promuovere l’applicazione dei programmi nel contesto del “mondo reale”.
• PRECIS-2, che valuta (con un punteggio da uno a cinque) nove singoli aspetti di uno studio (eleggibilità, reclutamento, setting, organizzazione, flessibilità nell’erogazione, flessibilità nella diligenza, follow-up, outcome primario e analisi primaria) e visualizza graficamente su una ruota la pragmaticità dello studio.

Per una trattazione più esaustiva degli argomenti qui appena accennati si rimanda al volume di Cerritelli e Lanaro¹.

Bibliografia

1. Cerritelli F, Lanaro D. Elementi di ricerca in osteopatia e terapie manuali. Napoli: Edises, 2018.