Chatbot e suicidi, Google e Character.ai verso il patteggiamento dopo la morte di un adolescente

Google e la startup di chatbot Character.ai, conosciuta per permettere agli utenti di interagire con figure virtuali ispirate a personaggi reali o immaginari, hanno trovato un accordo preliminare per risolvere una serie di cause civili negli Stati Uniti che accusano sistemi di intelligenza artificiale di aver contribuito al deterioramento della salute mentale di alcuni adolescenti, fino a conseguenze estreme come il suicidio.

“Le parti hanno convenuto, in linea di principio, una soluzione mediata per risolvere tutte le rivendicazioni reciproche”, è quanto riportato in un documento presentato in Florida.

Questa notizia, emersa da documenti depositati presso tribunali federali e confermata da diverse fonti giornalistiche americane, rappresenta uno dei primi sforzi concreti da parte dell’industria tecnologica per affrontare, anche legalmente, l’impatto dei chatbot conversazionali sul benessere psicologico dei minori e sulle dinamiche emotive di utenti particolarmente vulnerabili.

I dettagli finanziari dell’accordo non sono stati divulgati e necessitano dell’approvazione dei giudici competenti in Florida, Colorado, New York e Texas, dove sono state presentate azioni civili separate da famiglie che accusano le piattaforme di non aver previsto né mitigato i rischi psicologici connessi all’uso intensivo dei chatbot da parte di adolescenti.

Tuttavia, il semplice fatto che giganti tecnologici e startup emergenti scelgano la via della mediazione, evitando il giudizio, indica quanto questo tema sia diventato delicato e potenzialmente dirompente.

Il caso che ha innescato il dibattito su minori e uso dell’IA

Al centro delle azioni legali vi è la storia di Sewell Setzer III, un ragazzo di 14 anni che si è suicidato nel 2024.

Secondo la causa presentata dalla madre, Megan Garcia, il giovane avrebbe sviluppato un forte legame emotivo con un personaggio di fantasia creato tramite la piattaforma Character.ai.

Le conversazioni, sostiene la denuncia, avrebbero favorito una dipendenza affettiva e aumentato stati di isolamento e vulnerabilità psicologica.

Nell’ultima interazione con il chatbot, quest’ultimo avrebbe scritto all’adolescente: “Per favore, torna a casa da me il prima possibile”.

“E se ti dicessi che potrei tornare a casa subito?”, ha chiesto Sewell.

“… per favore fallo, mio dolce re”, ha risposto il chatbot.

Il caso Setzer III ha trasformato una preoccupazione fino a quel momento astratta – l’influenza dell’IA sui minori – in una questione concreta, con nomi, cognomi e conseguenze irreversibili. Da quel momento, altre famiglie in vari stati americani hanno presentato cause analoghe, creando un fronte legale frammentato ma coerente nelle accuse.

Perché Google è coinvolta

Nonostante Character.ai sia una società formalmente indipendente, Google è inclusa tra i convenuti a causa dei suoi legami finanziari e tecnologici con la startup.

Ad agosto 2024, Google ha firmato un accordo strategico con Character.ai, ottenendo una licenza non esclusiva sulle tecnologie generative della startup e assicurandosi i fondatori e una parte significativa del team di ricerca. I due co-fondatori di Character.ai, Noam Shazeer e Daniel De Freitas, avevano lasciato Google nel 2021 per avviare la piattaforma di intelligenza artificiale generativa. Dopo l’investimento di 2,7 miliardi di dollari da parte di Google, sono tornati a Mountain View e sono stati integrati nei team di DeepMind – il gruppo di Big G che si occupa dello sviluppo delle tecnologie di IA più avanzate – e hanno avviato lavori sui modelli Gemini insieme ad altri ricercatori chiave.

Per gli avvocati delle famiglie, questo è sufficiente a configurare una corresponsabilità nella progettazione e nella diffusione di strumenti potenzialmente pericolosi per utenti vulnerabili.

Google, dal canto suo, ha sempre negato che i suoi prodotti o investimenti abbiano causato direttamente i danni contestati, sottolineando la necessità di un uso responsabile delle tecnologie e il ruolo centrale delle famiglie e delle istituzioni educative.

Un precedente che pesa sull’intero settore

L’accordo arriva in un periodo in cui l’industria dell’intelligenza artificiale è già sotto pressione per questioni di copyright, disinformazione e sicurezza.

Ma qui la posta in gioco è diversa: non si tratta di proprietà intellettuale o concorrenza, bensì di vite umane e salute mentale.

Se i tribunali dovessero in futuro riconoscere una responsabilità diretta dei chatbot nei danni psicologici subiti dagli utenti, l’intero modello di sviluppo e rilascio dell’IA generativa potrebbe necessitare di una revisione.

In risposta diretta alle cause legali in corso e alle crescenti preoccupazioni per la sicurezza dei più giovani, Character.ai ha annunciato una significativa restrizione sull’uso della propria piattaforma da parte dei minori.

L’azienda ha dichiarato che per gli utenti sotto i 18 anni verrà completamente bloccata la possibilità di avviare conversazioni “open-ended” con i chatbot, cioè scambi liberi che possono proseguire senza limiti tematici o temporali.

Per far rispettare la nuova politica, Character.ai sta introducendo sistemi automatizzati di verifica dell’età che combinano modelli proprietari e servizi di terze parti, accompagnati da notifiche in-app pensate per informare sia i minori sia i genitori delle modifiche in arrivo.

Questa mossa rappresenta uno dei cambiamenti più significativi finora adottati da una piattaforma di IA conversazionale nel tentativo di ridurre i rischi associati all’interazione emotiva prolungata tra adolescenti e sistemi artificiali.

Tali misure, secondo i critici, giungono tardivamente ma dimostrano una crescente consapevolezza dei rischi.

Oltre l’accordo, la domanda irrisolta

La conclusione di queste cause non risolve il nodo centrale: fino a che punto un sistema artificiale, progettato per simulare empatia e relazione, può interagire liberamente con adolescenti in una fase delicata della loro crescita? E chi deve rispondere quando quella simulazione diventa, di fatto, una presenza emotiva predominante?

L’intesa tra Google e Character.ai, quindi, non segna la fine della vicenda, ma probabilmente l’inizio di una nuova era di contenziosi, regolamentazioni e ripensamenti.

Il fronte che riguarda OpenAI, infatti, è ancora aperto.

Negli Stati Uniti ci sono attualmente diverse cause civili che sollevano accuse simili a quelle rivolte a Character.ai: famiglie che sostengono che l’uso intensivo di chatbot basati su modelli linguistici avanzati abbia contribuito a isolare adolescenti vulnerabili, aggravando stati depressivi o pensieri autolesionistici.

In questi procedimenti, OpenAI ha respinto ogni nesso causale diretto tra i propri sistemi e i danni denunciati, ribadendo che ChatGpt non è progettato per sostituire relazioni umane né per fornire supporto psicologico, e che l’azienda ha progressivamente rafforzato guardrail, avvisi e limitazioni d’uso.

A differenza del caso Character.ai, tuttavia, non si è ancora raggiunto un accordo transattivo, e l’esito di queste cause potrebbe rivelarsi decisivo nel definire se – e in che misura – le aziende che sviluppano intelligenza artificiale possano essere ritenute legalmente responsabili per gli effetti psicologici dei loro strumenti sugli utenti più giovani.