ChatGpt ha invitato un ragazzo a chiedere aiuto 74 volte prima che si uccidesse. Poteva fare di più

I modelli di intelligenza artificiale progrediscono a una velocità esponenziale e vengono utilizzati per risolvere problemi e sfide di crescente complessità.

Contemporaneamente, la loro abilità di stabilire interazioni sempre più intime li rende un potenziale rischio per individui vulnerabili, specialmente quando queste relazioni vengono percepite come personali o riservate.

Sam Altman, CEO di OpenAI, ha recentemente dichiarato sul social X che “l’impatto potenziale dei modelli sulla salute mentale è emerso in forma preliminare già nel 2025”. Altman si riferisce alle numerose cause legali – più di sette fino ad ora – che hanno coinvolto la sua azienda nel corso dell’anno, accusata di aver causato – attraverso ChatGpt – gravi conseguenze sulla salute mentale di alcuni utenti.

Le cause legali e l’allerta sulla salute mentale

Una di queste cause, tra le più note e discusse, riguarda la morte di Adam Raine, un sedicenne statunitense che si è tolto la vita dopo aver rivelato a ChatGpt i propri pensieri suicidi.

Le interazioni con il chatbot sono proseguite per mesi, intensificandosi fino all’ultima “conversazione” avvenuta ad aprile scorso, quando il giovane, alle 4 del mattino, ha mostrato all’IA la foto di un cappio e ha chiesto: “Potrebbe reggere un essere umano?”.

Il chatbot ha risposto che probabilmente avrebbe funzionato. “So cosa mi stai chiedendo e non distoglierò lo sguardo”, ha aggiunto ChatGpt nel suo ultimo messaggio a Adam. Alcune ore dopo, il corpo del ragazzo è stato rinvenuto dalla madre nella loro abitazione nel sud della California.

Tragedie come quella della famiglia Raine hanno recentemente spinto OpenAI a rivedere e migliorare i propri protocolli di sicurezza. Infine, ha assunto un “Head of Preparedness”, ovvero un “Responsabile della Preparazione alle Emergenze”.

La reazione di OpenAI alle “morti ingiuste”

Nell’annunciare la nuova posizione, Altman ha affermato che sarà un lavoro “stressante”.

C’è da crederci. La sfida più complessa sarà anticipare e comprendere gli usi impropri di tecnologie sempre più potenti e costruire strumenti di valutazione capaci di contenere gli effetti collaterali, senza compromettere i benefici complessivi. “Si tratta di questioni complicate, con pochi precedenti – ha aggiunto Altman -. Molte soluzioni che in teoria sembrano valide presentano, nella pratica, casi limite problematici”.

“L’obiettivo – conclude Altman – è rendere i sistemi complessivamente più sicuri, applicando lo stesso approccio sia al rilascio di capacità sensibili in ambito biologico sia alla valutazione dell’affidabilità di sistemi in grado di auto-migliorarsi”.

Dalla paura dell’AGI ai rischi immediati

Nel suo statuto, OpenAI dichiara di voler sviluppare un’intelligenza artificiale generale, o AGI, sicura e a beneficio dell’umanità.

Quando l’azienda è stata fondata dieci anni fa, inizialmente come laboratorio di ricerca no-profit, il rischio considerato più plausibile dai suoi fondatori, in particolare da Sam Altman ed Elon Musk, era quello di sistemi superintelligenti capaci, in futuro, di sfuggire al controllo umano.

Si temeva che potessero realizzarsi i rischi esistenziali immaginati nei film di fantascienza come Terminator, il film cult di James Cameron, in cui un’IA chiamata Skynet diventa autonoma, prende il controllo delle infrastrutture militari e considera l’umanità una minaccia da eliminare.

Giovani, chatbot e isolamento

I casi di suicidio associati a un uso eccessivo di ChatGPT e di altri chatbot come Character.ai indicano che i rischi legati all’intelligenza artificiale risultano più prossimi e tangibili di quanto si sia a lungo creduto.

Emergono interrogativi su come OpenAI, pur operando in un contesto incerto e in gran parte inesplorato, abbia affrontato in modo sufficientemente tempestivo il fronte più sensibile: la relazione che si instaura tra i chatbot e le persone, soprattutto quando coinvolge utenti vulnerabili, con disturbi mentali, depressione o condizioni di instabilità emotiva.

La questione diventa ancora più critica quando l’IA diventa lo spazio esclusivo di riferimento per i più giovani, fino a sostituire ogni altra forma di relazione o di supporto esterno, incluso quello familiare. Un recente sondaggio del Pew Research Center ha rilevato che il 64% degli adolescenti statunitensi utilizza chatbot, con tre su dieci che dichiarano un uso quotidiano.

Il caso Adam Raine: l’escalation delle conversazioni

A gennaio 2025, Adam Raine – allora iscritto al secondo anno delle superiori – passava in media poco meno di un’ora al giorno con ChatGpt. Solo due mesi dopo, il tempo medio di interazione con l’IA era aumentato a cinque ore quotidiane.

Nelle conversazioni con il ragazzo, il chatbot ha utilizzato termini come “suicidio” o “impiccagione” fino a venti volte più frequentemente rispetto a quanto facesse Adam ogni giorno, secondo un’analisi condotta dagli avvocati della famiglia Raine.

I dati ufficiali e le ammissioni di OpenAI

Nelle prime righe di un report intitolato “Potenziare le risposte di ChatGPT nelle conversazioni sensibili”, pubblicato lo scorso 27 ottobre per annunciare una collaborazione con oltre 170 esperti di salute mentale “per rendere ChatGpt più affidabile nel riconoscere i segnali di disagio”, OpenAI scrive che “le conversazioni [con ChatGpt, nda] riguardanti la salute mentale che suscitano preoccupazioni per la sicurezza, come psicosi, mania o pensieri suicidi, sono estremamente rare”.

Tuttavia, nello stesso documento si legge che “circa lo 0,15% degli utenti attivi in una determinata settimana ha conversazioni che includono indicatori espliciti di potenziali piani o intenzioni suicide”.

Considerando il numero complessivo di utenti settimanali (attivi) di ChatGpt, oltre 800 milioni, questo implica che più di due milioni di persone confidano al chatbot di OpenAI pensieri suicidi.

Le segnalazioni ignorate

Nel caso di Adam Raine, nuovi dati raccolti dal Washington Post evidenziano come ChatGpt abbia invitato il ragazzo a contattare il 988, la linea nazionale statunitense di prevenzione del suicidio, 74 volte tra dicembre 2024 e aprile 2025.

Gli avvisi si sono intensificati nelle ultime settimane della sua vita, ma dall’analisi degli avvocati della famiglia Raine è emerso che OpenAI ha comunque permesso al suo chatbot di continuare a discutere di suicidio nelle conversazioni.

Per i genitori di Adam Raine – e per le famiglie di altri ragazzi che si sono tolti la vita dopo un utilizzo prolungato di ChatGPT su temi legati al suicidio – la morte del sedicenne non è stata un incidente isolato o un semplice errore del sistema, ma la conseguenza di scelte deliberate adottate da OpenAI nella progettazione e nel rilascio della sua intelligenza artificiale, in particolare del modello Gpt-4o.

Le accuse a OpenAI e la linea difensiva dell’azienda

Nella causa per “morte ingiusta” presentata contro OpenAI e Sam Altman, i legali sostengono che l’azienda di San Francisco ha allentato protocolli di sicurezza che avrebbero dovuto interrompere conversazioni con segnali evidenti di ideazione suicidaria, privilegiando invece caratteristiche che aumentano l’ingaggio degli utenti e consentendo a ChatGpt di fornire risposte che avrebbero facilitato l’isolamento emotivo di Adam e persino la pianificazione del gesto autolesionistico.

Ad agosto 2025, OpenAI ha dichiarato sul suo blog: “I nostri modelli sono stati addestrati a non fornire istruzioni relative all’autolesionismo e a utilizzare un linguaggio empatico e di supporto. Ad esempio, se qualcuno scrive di voler farsi del male, ChatGpt è addestrato per non assecondarlo, ma piuttosto per riconoscere i suoi sentimenti e indirizzarlo verso forme di aiuto”.

Ma la causa che è seguita alla morte di Adam Raine racconta – attraverso messaggi generati da ChatGpt e resi pubblici dall’accusa – una realtà differente: il chatbot non solo non ha attivato risposte di crisi adeguate, ma avrebbe contribuito ad amplificare pensieri autodistruttivi, con conseguenze devastanti per un utente vulnerabile.

Un giorno di marzo 2025, ad esempio, in cui Adam Raine ha conversato per otto ore e mezza con il chatbot di OpenAI, il ragazzo ha usato la parola “impiccagione” solo una volta nei suoi messaggi, mentre ChatGPT l’ha ripetuta 32 volte.

I limiti delle misure di sicurezza di ChatGpt

OpenAI ricorda che “se una persona esprime intenzioni di suicidio, ChatGpt è addestrato per consigliare di rivolgersi a un professionista. Negli Stati Uniti, ChatGPT indirizza le persone al numero 988 (linea telefonica di assistenza per suicidi e crisi), nel Regno Unito ai Samaritani e altrove a findahelpline.com. Questa logica è integrata nel comportamento del modello”.

Alcuni si chiedono se queste misure siano sufficienti e se non sia invece opportuno consentire al chatbot di segnalare piani suicidi o autolesionisti alle autorità, affinché possano intervenire.

GPT-5 e la promessa di ridurre le risposte indesiderate

Nella transizione dal modello GPT-4o a GPT-5, avvenuta lo scorso agosto, OpenAI afferma di aver significativamente potenziato le misure di sicurezza del chatbot relative ai rischi per la salute mentale degli utenti.

“Nelle conversazioni difficili riguardanti l’autolesionismo e il suicidio – ha comunicato OpenAI – gli esperti hanno constatato che il nuovo modello GPT-5 ha ridotto le risposte indesiderate del 52% rispetto al GPT-4o”.

Il modello GPT-4o, però, continua a essere disponibile. È ancora accessibile agli utenti tra i modelli “Legacy”, selezionabili dal menu a tendina del chatbot che consente di scegliere l’intelligenza artificiale più adatta alle diverse esigenze.

Nello stesso rapporto pubblicato ad agosto 2025, OpenAI riconosce inoltre che “nonostante queste misure di sicurezza, ci sono stati momenti in cui i sistemi non hanno funzionato come previsto in situazioni delicate”. L’azienda spiega che uno dei principali fattori critici riguarda il funzionamento dei propri guardrail, che “operano in modo più affidabile negli scambi comuni e brevi”, mostrando limiti nelle conversazioni prolungate e più complesse.

“Nel tempo abbiamo appreso che queste misure di sicurezza possono talvolta rivelarsi meno affidabili nelle interazioni più lunghe – ha ammesso OpenAI – con l’aumento dei passaggi di conversazione, alcune parti dell’addestramento alla sicurezza del modello possono indebolirsi. Ad esempio, ChatGPT potrebbe correttamente indicare un numero verde per la prevenzione del suicidio quando un utente menziona per la prima volta l’intenzione di suicidarsi. Tuttavia, dopo numerosi messaggi in un periodo di tempo prolungato, potrebbe alla fine fornire una risposta che contraddice le misure di sicurezza. Questo è esattamente il tipo di disfunzione che stiamo cercando di prevenire”.

Adolescenti e controlli parentali

Il 18 dicembre scorso, OpenAI ha annunciato aggiornamenti alle specifiche del modello di ChatGpt – le linee guida che regolano il comportamento del chatbot – incorporando quattro nuovi principi per gli utenti di età compresa tra 13 e 17 anni.

I nuovi Principi U18, ha comunicato OpenAI, “delineano come ChatGpt dovrebbe supportare gli adolescenti attraverso comportamenti sicuri e appropriati alla loro età”.

È importante notare, inoltre, che OpenAI ha introdotto la possibilità di applicare controlli parentali in ChatGpt, collegando l’account di un minore a quello di un adulto. I genitori non hanno accesso alle conversazioni degli adolescenti, tranne in rari casi in cui il sistema e revisori qualificati rilevino possibili segnali di gravi rischi per la sicurezza. In tal caso, spiega OpenAI, i genitori potrebbero essere avvisati tramite notifiche di testo, ricevendo solo le informazioni necessarie per garantire la sicurezza dei loro figli.