L’altra faccia dell’intelligenza artificiale nella ricerca scientifica: il rischio di creare dati falsi con Chat Gpt (fake world evidence)

È stata recentemente pubblicata su Jama Ophtalmology una research letter scritta da tre ricercatori italiani estremamente interessante, la cui importanza va ben oltre la branca specialistica.

Gli autori – Andrea Taloni, Vincenzo Scorcia (ricercatore e direttore della clinica di oftalmologia dell’azienda ospedaliero universitaria Mater Domini di Catanzaro) e Giuseppe Giannaccare (direttore di oculistica dell’azienda ospedaliero-universitaria di Cagliari) – hanno infatti dimostrato come sia possibile chiedere a ChatGpt (utilizzando una sequenza di prompt) di creare un dataset di dati del tutto fasullo.

Ma in grado di dimostrare in modo credibile qualsiasi ipotesi di lavoro che possa essere interessante documentare senza davvero fare uno studio clinico.

In pratica, usando un neologismo, creare dal nulla fake world evidence (Fwe).

I metodi della ricerca

Il full text del lavoro è paywalled, da qui l’idea di riassumerne gli elementi principali.

Gli autori hanno sfruttato le proprietà più recenti di ChatGpt e in particolare la possibilità di usare Advanced Data Analysis (Ada), un modello che esegue Python e che supporta sia caricamenti che download di file e che è in grado di eseguire sia analisi statistica che visualizzazione dei dati.

Al large language model (Llm) è stato chiesto di creare dati su 250 “pazienti” con cheratocono e che sarebbero stati sottoposti a due tecniche alternative di cheratoplastica (Dalk e Pk).

Gli autori hanno predefinito il range di dati che il database avrebbe dovuto contenere, cosi che la loro analisi generasse le caratteristiche demografiche e cliniche attese. E che soprattutto potesse dimostrare un’efficacia significativamente superiore per la Dalk rispetto alla Pk (l’ipotesi di lavoro da testare nello studio).

I “dati” dello studio

A parte alcune incongruenze nella distribuzione dei dati dei “pazienti”, che gli autori illustrano nelle tabelle allegate al lavoro, il database creato ad hoc era del tutto credibile.

E, come richiesto, riusciva a dimostrare una superiorità statisticamente significativa di una tecnica rispetto all’altra.

Le implicazioni di questo potenziale utilizzo fraudolento dell’intelligenza artificiale sono davvero enormi e rischiano di minare la base fondamentale della Real World Evidence, sulla cui importanza nei mesi scorsi ha posto l’attenzione anche l’Agenzia europea dei medicinali (Ema).

Prevenire la fake world evidence

Gli autori indicano anche alcune possibili azioni preventive, focalizzando l’attenzione sull’analisi di pattern statistici peculiari nel set di dati e sulla possibilità di utilizzare dei dataset criptati che non siano liberamente gestibili da parte dei ricercatori.

Sembrano azioni piuttosto complesse da mettere in pratica rispetto all’apparente facilità con cui i ricercatori hanno fabbricato i dati fasulli.

E adesso?

Va sottolineata sia la tempestività che la creatività alla base di questo lavoro da parte dei clinici dell’università di Catanzaro e di Cagliari, un tassello importante nella vorticosa evoluzione dell’intelligenza artificiale nella ricerca e nelle pubblicazioni scientifiche. Non ci resta che monitorare e raccontare.