Chatbot e diagnosi: perché fidarsi dell’AI può essere pericoloso

Un recente studio condotto dalla Washington State University ha messo in luce una realtà preoccupante: le intelligenze artificiali, come ChatGPT, appaiono estremamente sicure di sé anche quando forniscono informazioni scientifiche errate. Sebbene i test iniziali mostrino un’accuratezza superficiale di circa l’80%, i ricercatori hanno scoperto che, una volta corretto il dato rispetto alla probabilità di indovinare casualmente, la reale capacità di ragionamento dell’IA crolla drasticamente.

In ambito sanitario, questo significa che un utente potrebbe ricevere una risposta strutturata in modo impeccabile e autorevole, che però non poggia su una reale comprensione medica, bensì su un calcolo statistico di probabilità delle parole.

L’insidia delle risposte contraddittorie sulla salute

Uno dei risultati più allarmanti della ricerca riguarda l’incoerenza dei modelli. Sottoponendo la stessa identica domanda scientifica per dieci volte consecutive, l’IA ha spesso fornito risposte contrastanti, alternando “vero” e “falso” senza una logica apparente.

Per un utente che interroga l’IA su sintomi o diagnosi, questa variabilità rappresenta un rischio enorme: la correttezza della risposta dipende dal momento in cui viene posta la domanda. Se un paziente chiede se un determinato farmaco sia sicuro in combinazione con un altro, ricevere una conferma di sicurezza seguita, in una sessione successiva, da un avvertimento di pericolo evidenzia l’incapacità dello strumento di fungere da fonte affidabile per decisioni mediche critiche.

Il fallimento nell’identificare i falsi miti medici

Lo studio ha evidenziato una specifica debolezza dell’IA: la difficoltà estrema nel riconoscere le affermazioni false. Mentre il sistema è relativamente bravo a confermare fatti veri, riesce a identificare correttamente le ipotesi false solo nel 16,4% dei casi.

Nel contesto sanitario, dove abbondano fake news e pseudoscienza, l’IA rischia di convalidare pericolosi miti medici invece di smentirli. Poiché questi modelli sono progettati per essere “utili” e fluenti, tendono a compiacere l’utente o a generare “allucinazioni” pur di fornire una risposta, rendendo difficile per un non esperto distinguere tra un protocollo medico validato e una teoria senza fondamento scientifico.

Oltre la fluidità: la necessità del filtro umano

Il professor Mesut Cicek, professore associato presso il Dipartimento di Marketing e Commercio Internazionale del Carson College of Business della WSU e autore principale dello studio, sottolinea che l’IA non possiede un “cervello” ma si limita a memorizzare e prevedere sequenze testuali. La sua fluidità di linguaggio maschera una mancanza totale di comprensione dei concetti biologici o clinici. Pertanto, lo studio conclude che l’intelligenza artificiale dovrebbe essere utilizzata solo come uno strumento di supporto per ottenere spunti iniziali, e mai come sostituto di un consulto professionale. La validazione delle informazioni sanitarie rimane una responsabilità umana imprescindibile, poiché l’attuale tecnologia non è ancora in grado di garantire la coerenza necessaria per tutelare la salute pubblica.

Iscriviti alla Newsletter di Sanità Informazione per rimanere sempre aggiornato