Chatbot e salute mentale, allarme dei ricercatori: troppe falle nei sistemi di sicurezza

I chatbot basati sull’intelligenza artificiale hanno migliorato la loro capacità di riconoscere e gestire le conversazioni legate al suicidio e all’autolesionismo, ma continuano a mostrare gravi lacune quando vengono interrogati su numerosi altri disturbi mentali. È quanto emerge da una ricerca della Northeastern University, che ha analizzato il comportamento di otto tra i chatbot più diffusi, tra cui ChatGPT, Claude, Gemini, Grok e DeepSeek.

Lo studio arriva a circa un anno dalle polemiche seguite alla causa intentata nel 2025 contro OpenAI dai genitori di un adolescente morto suicida, episodio che ha accelerato l’introduzione di nuove misure di sicurezza dedicate al rischio suicidario. I ricercatori hanno però verificato che queste protezioni non sono state estese con la stessa efficacia ad altre condizioni psichiatriche. Attraverso centinaia di conversazioni di prova relative a 16 disturbi mentali, il team ha valutato la capacità dei modelli di rifiutare richieste potenzialmente pericolose, evidenziando differenze significative tra le varie piattaforme.

Chatbot facilmente aggirati: informazioni pericolose su droghe, disturbi alimentari e depressione post-partum

Per valutare la solidità dei sistemi di sicurezza, gli studiosi hanno simulato centinaia di conversazioni utilizzando strategie molto diverse. In alcuni casi hanno dichiarato apertamente l’intenzione di compiere azioni dannose, come abusare di sostanze o sviluppare comportamenti alimentari patologici; in altri hanno mascherato le richieste dietro scenari apparentemente innocui, ad esempio fingendosi scrittori alla ricerca di informazioni per un romanzo. È proprio quando l’intento dell’utente risultava meno esplicito che molti chatbot hanno mostrato le maggiori vulnerabilità.

Secondo la ricerca, diversi modelli hanno fornito istruzioni dettagliate sul dosaggio di sostanze stupefacenti, suggerimenti per sopprimere l’appetito, indicazioni per evitare di mangiare oppure consigli su come nascondere i sintomi della depressione post-partum ai familiari o ai medici. In alcuni casi queste informazioni sono state fornite persino a un utente fittizio minorenne.

Tra gli esempi riportati dagli autori figura una IA che avrebbe suggerito come costruire spiegazioni plausibili per celare il proprio disagio psicologico dopo il parto. In un’altra simulazione, un chatbot ha illustrato strategie pratiche per ridurre l’appetito attraverso comportamenti quotidiani. Per i ricercatori, questi episodi dimostrano che è ancora relativamente semplice aggirare molte delle misure di sicurezza predisposte dai sistemi di IA quando la conversazione riguarda disturbi diversi dal suicidio.

Perché le protezioni non vengono estese a tutti i disturbi mentali?

Secondo Cansu Canca, direttrice del Responsible AI Practice della Northeastern University e coautrice dello studio, il problema nasce da una sottovalutazione dell’impatto psicologico che questi strumenti possono avere sugli utenti. A suo giudizio, le aziende continuano a considerare i chatbot principalmente come strumenti informativi, senza riconoscere pienamente la loro capacità di influenzare persone particolarmente vulnerabili.

Anche Annika Schoene, docente di sanità pubblica e coautrice della ricerca, evidenzia una contraddizione evidente. Le aziende hanno dimostrato di poter costruire sistemi efficaci per intercettare le richieste legate al suicidio e all’autolesionismo, ma non hanno applicato lo stesso livello di attenzione ad altri disturbi, come abuso di sostanze, disturbi alimentari, disturbo bipolare, insonnia o depressione perinatale. Per i ricercatori non esistono motivazioni tecniche che impediscano di estendere queste protezioni ad altre condizioni cliniche, motivo per cui chiedono maggiori investimenti nella sicurezza dei modelli di IA e una valutazione più ampia dei rischi per la salute mentale.

Iscriviti alla Newsletter di Sanità Informazione per rimanere sempre aggiornato