Valutare la qualità delle risorse on line di Medicina d’Emergenza-Urgenza: passi avanti
mercoledì, ottobre 19th, 2016Dott. Paolo Balzaretti, redazione Blog Simeu
Su Twitter: @P_Balzaretti
Tenersi aggiornati sulle novità scientifiche, abbiamo avuto modo di dirlo molte volte, non è facile. Da un lato la produzione scientifica è progressivamente aumentata, dall’altro il tempo da dedicarvi è sempre poco. Per questo può essere utile “seguire” alcuni dei siti internet, tipo blog o podcast, nati negli ultimi anni con lo scopo di facilitare il passaggio di informazioni cliniche dalla letteratura alla pratica quotidiana.
Per quanto riguarda la Medicina d’Urgenza l’offerta è abbondante, e, in mezzo a così tante proposte, è vitale porsi il problema della qualità di ciò che si legge. Ci siamo già occupati di questo aspetto in passato, documentando il tentativo di una Consensus Conference di elaborare un questionario che permettesse di delineare la qualità di una risorsa on line.
Da allora il progetto è andato avanti. Da un lato i promotori del questionario hanno avviato un percorso per la validazione empirica di un score già utilizzato da qualche tempo sul sito Academic Life in Emergency Medicine (ALiEM), l’ALiEM Approved Institutional Resources Score (ALiEM AIR Score), i cui risultati sono stati pubblicati recentemente su Annals of Emergency Medicine (1). Per altro verso, gli stessi Autori propongono uno strumento creato per essere utilizzato da parte di medici in formazione, sempre finalizzato alla valutazione qualitativa del materiale (post e podcast) che possiamo trovare su Internet.
L’ALiEM AIR Score
Come dicevamo, l’obiettivo dell’ALiEM-AIR score è quello di dare un punteggio alla qualità di post o podcast pubblicati su internet, inerenti alla Medicina d’Emergenza-Urgenza. I risultati delle valutazioni che loro effettuano utilizzandolo sono presentate periodicamente sul blog, raggruppati per temi (l’ultimo riguarda la tossicologia).
Il punteggio valuta 5 aspetti, per ognuno dei quali vi è la possibilità di fornire un punteggio da 1 a 7: rilevanza per la pratica clinica (attraverso la BEEM Rater Scale), accuratezza dei contenuti, utilità formativa, adesione ai principi della EBM, indicazione delle fonti. Più elevato è il risultato della somma finale, maggiore è la qualità del post e la sua rilevanza a fini formativi. Lo score è riportato nella tabella 1.
Score |
BEEM Rater Scale |
Accuratezza dei contenuti |
Utilità formativa |
Evidence-based Medicine |
Indicazione delle fonti |
Assumendo che i risultati dell’articolo siano validi, quanto influenza la pratica clinica della medicina d’urgenza? | Ci sono perplessità riguardo l’accuratezza dei dati o delle conclusioni dell’articolo? | Ci sono utili “perle” formative per specializzandi in questo articolo? | Questo post riflette i principi dell’EBM e dunque è privo di bias? | Gli autori e gli articoli impiegati sono chiaramente citati? | |
1 |
Informazioni inutili | Sì, molte perplessità su molte inesattezze. | Scarsa qualità; nessuna “perla” formativa | Non evidence based; solo opinione di esperti. | No |
2 |
Non molto interessante né utile, non cambierà nulla. | — | — | — | — |
3 |
Interessante e nuovo, ma non cambierà la pratica. | Sì, una perplessità consistente su poche inesattezze. | Sì, ma ci sono poche (1-2) “perle” formative di valore o ci sono molteplici (≥3) “perle” formative ma di minor valore. | Minima base EBM | — |
4 |
Interessante e nuovo, ha le potenzialità di cambiare la pratica. | — | — | — | Sì, gli autori e i lavori sono citati ma senza riferimenti on line. |
5 |
Nuovo e importante; probabilmente cambierà la pratica per alcuni medici d’Urgenza. | Minime perplessità su inesattezze minori. | Sì, ma ci sono molte (≥3) “perle” formative o ci sono pochi (1-2) concetti chiave che ogni specializzando dovrebbe conoscere prima della fine del corso. | Perloppiù EBM | — |
6 |
Nuovo e importante; cambierà la pratica clinica della maggior parte dei medici d’Urgenza. | — | — | — | — |
7 |
Tutti i medici d’Urgenza devono conoscere questo lavoro | Nessuna perplessità legata ad inesattezze. | Sì, ci sono molteplici concetti chiave che ogni specializzando dovrebbe conoscere prima della fine del corso. | Sì, esclusivamente evidence-based e dunque privo di bias. | Si, sono forniti gli autori e i riferimenti on line. |
Figura 1. ALiEM AIR score. BEEM Rater scale: una scala validata per valutare la rilevanza degli studi pubblicati nella letteratura della Medicina d’Urgenza.
Nello studio pubblicato su Annals of Emergency Medicine (1), i punteggi prodotti da questo strumento su un campione di circa 70 post sono stati confrontati con i giudizi forniti da un gruppo di educatori esperti in Emergency Medicine, americani o canadesi, che costituivano il gold standard. Complessivamente, la correlazione registrata tra le due valutazioni era solo moderata (r pari a 0,35 – 0,40).
Alcune considerazioni. Questo strumento è piuttosto complesso ed è di fatto indirizzato a figure accademiche (professori o direttori di Scuole di Specializzazione), le quali possono impiegarlo per selezionare il materiale online da proporre ai propri studenti e specializzandi. Alcuni dei suoi elementi presentano problemi di interpretazione: cosa possiamo definire “perla formativa”? Come distinguere una “perla formativa” minore da una più rilevante? Anche la validità del parallelismo stretto tra utilizzo di fonti EBM e la sicura assenza di bias è tutta da verificare, come rilevato da altri (2).
Gli score METRIQ
In considerazione della discreta complessità dell’ALiEM AIR score, Chan e i suoi collaboratori, già Autori dei lavori precedenti, hanno provato a creare uno strumento più semplice, rivolto ai medici in formazione ma a mio avviso utile per tutti quelli che siano interessati a capire rapidamente se ciò che hanno trovato nella blogosfera valga la pena di essere letto (3).
Con un laborioso processo di selezione basato su criteri di rilevanza, semplicità e riproducibilità, a partire da 151 indicatori di qualità, ne sono stati selezionati 13. Questi sono stati sottoposti a un gruppo di studenti e specializzandi i quali li hanno impiegati per valutare la qualità di un pool di 49 post presenti su internet. Confrontando le modalità di risposta degli studenti e degli specializzandi, sono stati quindi creati due score, riportati nella tabella 2.
METRIQ-8 | METRIQ-5 | |
Concisione dei contenuti – La risorsa contiene un adeguato numero di informazioni in relazione alla sua lunghezza? | Concisione dei contenuti – La risorsa contiene un adeguato numero di informazioni in relazione alla sua lunghezza? | |
Preparazione dei contenuti – Sono riportati i processi (editoriale, di valutazione, di peer review, etc) per mezzo dei quali i contenuti sono stati creati? | Riferimenti – La risorsa riporta i riferimenti bibliografici utilizzati? | |
Riferimenti – La risorsa riporta i riferimenti bibliografici utilizzati? | Background – La risorsa fornisce adeguate informazioni partenza per collocare il lettore nel corretto contesto delle conoscenze attuali? | |
Processo editoriale – C’è un processo editoriale? | Moderazione – Le interazioni tra i discenti sono adeguatamente moderate, al fine di garantire una corretta condotta professionale? | |
Background – La risorsa fornisce adeguate informazioni partenza per collocare il lettore nel corretto contesto delle conoscenze attuali? | Editore – E’ chiaro chi pubblica la risorsa? | |
Moderazione – Le interazioni tra i discenti sono adeguatamente moderate, al fine di garantire una corretta condotta professionale? | ||
Editore – E’ chiaro chi pubblica la risorsa? |
Tabella 2. Gli strumenti METRIQ-8 e METRIC-5. Per ogni domanda, è possibile fornire un punteggio da 1 (caratteristica assente) a 7 (caratteristica ben rappresentata). Dunque per il METRIQ-8 si potrà ottenere un punteggio da 7 a 56, per il METRIQ-5 da 7 a 35.
I punteggi ottenuti con i due score sono stati confrontati con quelli ottenuti dall’ALiEM AIR score e dalla gestalt di importanti formatori in Medicina d’Emergenza, ottenendo una correlazione moderata ma statisticamente significativa sia con il primo che con la seconda. Sebbene le performance siano simili, il METRIQ-8 sembra funzionare meglio.
Considerazioni finali
Al di là della tendenza anglosassone di formalizzare e quantificare il più possibile i giudizi, che rimane un po’ estranea a noi latini, non c’è dubbio che emergono sempre più chiaramente alcuni elementi cui dovremmo fare attenzione quando utilizziamo blog e podcast per aggiornarci: tra questi sicuramente la presenza dei riferimenti bibliografici, meglio se corredati con link diretti, in modo tale che il lettore possa risalire alla fonte originale per farsi un’idea autonoma sull’argomento. In secondo luogo, la chiarezza riguardo a chi pubblica la risorsa, per poter capire se i contenuti possano essere in qualche modo condizionati da conflitti di interesse. Infine, l’attenzione di inserire ogni singolo post nel corretto quadro di insieme, fornendo tutte le informazioni di base per permettere di comprenderlo appieno.
Bibliografia
- Chan TM-Y, Grock A, Paddock M, Kulasegaram K, Yarris LM, Lin M. Examining relability and validity of an online score (ALiEM AIR) for rating free open access medical education resources. Ann Emerg Med 2016 Mar 29. pii: S0196-0644(16)00122-0. Link
- Trueger NS, Schriger DL. Rating the ratings: the AIR scoring system for blog and podcast. Ann Emerg Med 2016;67(5):675-6. Link
- Chan TM-Y, Thoma B, Krishnan K, Lin M, Carpenter CM, Astin M, Kulasegaram K. Derivation of two critical appraisal scores for trainees to evaluate online educational resources: a METRIQ study. West J Emerg Med 2016; 17: 574-584. Link