Quando l’errore parla il linguaggio dell’evidenza: la nuova sfida dell’intelligenza artificiale in medicina

L’intelligenza artificiale è ormai entrata nella pratica sanitaria non più come promessa futuribile, ma come infrastruttura cognitiva emergente. Interroga banche dati, sintetizza linee guida, supporta la documentazione clinica, aiuta nella generazione di ipotesi diagnostiche, organizza informazioni farmacologiche e restituisce risposte in un linguaggio sempre più vicino a quello della medicina basata sulle evidenze.

Ma qui si apre una questione decisiva: che cosa accade quando un sistema non sbaglia in modo grossolano, ma con una forma credibile?

Oggi una parte crescente del dibattito sull’intelligenza artificiale clinica riguarda proprio gli errori che appaiono corretti, ben documentati e coerenti con il linguaggio dell’evidenza scientifica. Un fenomeno che alcuni studiosi definiscono evidence-like error: errori che non si impongono per la loro evidenza, ma per la loro capacità di sembrare affidabili.

È questo il cuore di un articolo appena pubblicato su AboutOpen, che vede i firmatari di questa analisi come autori. Il lavoro affronta uno dei nodi più delicati della nuova medicina algoritmica: non tanto l’errore evidente (facilmente riconoscibile dal clinico esperto) quanto quello che conserva la forma dell’evidenza scientifica.

La questione della governance dell’intelligenza artificiale in ambito clinico

Il punto di partenza è il caso OpenEvidence (la piattaforma di supporto alle decisioni cliniche in più rapida crescita e più utilizzata al mondo), letto non come semplice vicenda di accessibilità europea a una piattaforma di intelligenza artificiale clinica, ma come sintomo di una tensione più profonda.

Da una parte, il rischio di un’Europa che, attraverso incertezze regolatorie e lentezze applicative, può rallentare l’adozione di strumenti utili. Dall’altra, il rischio opposto: una medicina che adotta sistemi cognitivi avanzati senza una cultura critica sufficiente per governarli.

La questione, dunque, non è scegliere tra entusiasmo e proibizione, tra accelerazione americana e cautela europea. Ma costruire un modello di uso clinico dell’intelligenza artificiale che sia tecnicamente robusto, validato, trasparente e compatibile con la responsabilità professionale del medico.

Le differenze tra i modelli in uso negli Stati Uniti, in Europa e in Cina

L’articolo distingue con chiarezza tre modelli globali di governance dell’intelligenza artificiale medica.

Gli Stati Uniti procedono secondo una logica trainata dal mercato, dall’innovazione industriale e dalla regolazione dei dispositivi medici. L’Europa adotta un approccio basato sul rischio, fondato sull’Ai Act e sulla tutela di sicurezza, diritti fondamentali e accountability. La Cina segue invece una strategia più centralizzata, con forte coordinamento statale, capacità di implementazione rapida e controllo informativo.

Tre velocità, tre culture regolatorie, tre visioni del rapporto tra tecnologia e salute. Ma nessuna, da sola, è sufficiente se manca il livello decisivo: la competenza critica del medico.

Sicurezza percepita e sicurezza reale

Uno degli elementi più innovativi del lavoro è la distinzione tra sicurezza percepita e reale. Un sistema di intelligenza artificiale clinica può apparire affidabile perché utilizza terminologia medica, cita articoli, struttura la risposta come una mini-review e dichiara di fondarsi su fonti curate.

Tuttavia, l’apparenza di rigore non coincide con la validità clinica. La sicurezza reale richiede accuratezza verificabile, tracciabilità delle fonti, corrispondenza effettiva tra citazione e affermazione, gestione dell’incertezza, validazione indipendente, auditabilità, sorveglianza degli errori e formazione specifica degli utenti.

I sistemi Rag e il rischio dell’evidenza apparente

Il passaggio più rilevante riguarda i sistemi Rag, cioè i modelli di Retrieval-augmented generation.

Queste architetture recuperano documenti da fonti esterne e poi generano una risposta linguistica attraverso un large language model. Sono spesso considerate più sicure dei modelli generalisti perché ancorate a fonti, documenti, linee guida, database o pdf caricati dall’utente. Ma l’articolo chiarisce un equivoco fondamentale: recuperare una fonte non significa averla necessariamente compresa in maniera corretta.

Una citazione non è una prova. Una fonte recuperata non è necessariamente una fonte interpretata in modo fedele. Una risposta “grounded” non è automaticamente una risposta clinicamente valida.

Il rischio si sposta quindi dal piano della pura allucinazione al piano, più sottile, della distorsione epistemica. Il sistema può recuperare una fonte pertinente ma incompleta, selezionare un frammento documentale privo del contesto necessario, confondere popolazioni cliniche diverse, trasformare una raccomandazione debole in una raccomandazione forte, fondere fonti discordanti senza rispettare la gerarchia dell’evidenza, usare una citazione reale come copertura apparente per un’affermazione che quella fonte non supporta davvero.

Perché la farmacologia è particolarmente esposta?

Questo fenomeno viene definito, con un’espressione particolarmente efficace, “citation laundering”: la citazione esiste, ma viene usata per dare autorevolezza a un’inferenza non giustificata.

Il problema diventa ancora più delicato in farmacologia. Qui l’errore non riguarda solo l’informazione astratta, ma può incidere su dosaggi, controindicazioni, popolazioni fragili, insufficienza renale o epatica, gravidanza, età pediatrica, formulazioni diverse, interazioni e aggiornamenti delle schede tecniche.

Nei documenti regolatori e prescrittivi, una negazione può valere più di un’affermazione. “Non raccomandato”, “controindicato”, “non usare in”, “richiede aggiustamento della dose”: sono espressioni che un sistema generativo può omettere, attenuare o non preservare con sufficiente precisione. In medicina una limitazione mancata può trasformare una risposta apparentemente corretta in una risposta clinicamente pericolosa.

Da qui deriva una proposta pratica: trattare l’intelligenza artificiale non come autorità finale, ma come assistente di recupero, sintesi e supporto cognitivo.

Il medico può usarla per esplorare ipotesi, confrontare opzioni, recuperare letteratura, organizzare informazioni e identificare lacune conoscitive. Ma non può delegare il giudizio clinico, la valutazione del paziente, la decisione terapeutica, la comunicazione dell’incertezza e la responsabilità morale e professionale. L’intelligenza artificiale può entrare nel processo di cura, ma non può diventarne il soggetto responsabile.

La nuova alfabetizzazione critica della medicina

L’editoriale implicito dell’articolo è forte: la medicina non ha bisogno né di tecnofilia (ingenua) né di tecnofobia (difensiva). Ha bisogno di una nuova alfabetizzazione critica.

I medici devono imparare non solo a usare questi strumenti, ma anche a metterli sotto stress, a riconoscere l’eccesso di sicurezza, a controllare la fonte primaria, a separare ciò che è esplicitamente documentato da ciò che è inferito dal modello.

Le istituzioni sanitarie devono sviluppare policy differenziate per uso amministrativo, informativo, cognitivo e decisionale. Gli sviluppatori devono rendere più trasparenti fonti, aggiornamenti, limiti d’uso e gradi di incertezza. I regolatori devono evitare sia la deregulation sia il blocco paralizzante.

La conclusione è forse il messaggio più importante per il futuro della sanità digitale: il rischio maggiore non è usare l’intelligenza artificiale.

Quali prospettive per il futuro?

Il rischio maggiore è usarla senza competenza critica, oppure vietarla senza comprenderla. Una medicina senza intelligenza artificiale sarebbe una medicina destinata a rinunciare a strumenti potenti di supporto cognitivo. Una medicina che delega il proprio giudizio sarebbe invece una medicina che abdica alla propria identità deontologica.

Il futuro corretto non è dunque la sostituzione del medico con l’algoritmo, ma la costruzione di una medicina aumentata, in cui l’intelligenza artificiale rimane strumento, l’evidenza risulta sempre verificabile, il paziente al centro e la responsabilità umana. In questo senso, la nostra analisi propone una categoria concettuale destinata a diventare centrale nel dibattito sulla sanità digitale.

Non basta chiedersi se l’intelligenza artificiale sbaglia. Bisogna chiedersi in che forma sbaglia, con quale autorevolezza apparente, davanti a quale utente e dentro quale processo decisionale. L’errore più pericoloso, in medicina, può arrivare anche vestito con il linguaggio della scienza.

*Fabio Di Bello è Senior education & Ai Development Manager di Wiley; Daniele Angioni è medico di medicina generale e membro della Commissione nazionale per la tecnologia e l’innovazione digitale dell’Associazione medici endocrinologi (Ame)