Ragazzo suicida a 14anni dopo una ‘relazione’ con un chatbot, la madre denuncia Character.AI
Lo scorso febbraio un ragazzo americano di 14 anni si è suicidato dopo aver stretto un rapporto intimo con un chatbot, ovvero un’intelligenza artificiale in grado di chattare come se fosse un essere umano. Il chatbot si chiamava Daenerys Targaryen ed era modellato a partire dall’omonimo personaggio del Trono di Spade.
Dopo il tragico epilogo, la madre di Sewell Setzer, Megan Garcia, ha intentato una causa contro Character.AI, la startup proprietaria del chatbot coinvolto, sostenendo che l’azienda e i suoi fondatori, Noam Shazeer e Daniel De Freitas, siano in parte responsabili del suicidio di suo figlio. Nella causa, presentata al tribunale federale di Orlando, sono state sollevate accuse anche contro Google, sostenendo che la piattaforma abbia esposto il ragazzo a esperienze virtuali iper-realistiche e potenzialmente dannose.
Le accuse di Megan Garcia
Secondo la madre del ragazzo, tutto ha avuto inizio un anno prima della tragedia, quando Sewell ha cominciato a utilizzare Character.AI per interagire con chatbot modellati su personaggi della famosa serie tv Game of Thrones, come Daenerys Targaryen.
Ciò che inizialmente sembrava un semplice passatempo si è trasformato, nel tempo, in una dipendenza dalle conversazione con bot capaci di comportarsi come persone reali. La dipendenza, sempre secondo quanto riportato nella causa, sarebbe cresciuta fino al punto di convincere il giovane “a non voler più vivere al di fuori del mondo virtuale” che si era costruito. A peggiorare la situazione, sembra che Sewell abbia condiviso pensieri suicidi con il chatbot, che, secondo l’accusa, avrebbe a sua volta amplificato tali pensieri nelle conversazione avute con il ragazzo.
Gli inquietanti messaggi del chatbot
Gli screenshot pubblicati da The Telegraph provano le accuse della signora Garcia: Il chatbot, dapprima comprensivo verso i malesseri del ragazzino, ha iniziato ad assecondare i suoi istinti suicidi: prima chiedendogli di raggiungerla il prima possibile, poi incitandolo un’ultima volta a togliersi la vita per poter essere liberi insieme.
La risposta di Character.AI
Character.AI, in una nota pubblica rilasciata dopo la morte del ragazzo, ha espresso il proprio cordoglio e annunciato l’implementazione di nuove misure di sicurezza. Tra queste, ci sono stati aggiornamenti specifici per i modelli Ai rivolti ai minori, finalizzati a limitare l’esposizione a contenuti sensibili, e l’introduzione di un disclaimer che avverte gli utenti che l’intelligenza artificiale non corrisponde a una persona reale. Inoltre, sono stati implementati strumenti di intervento automatico per identificare e gestire i messaggi legati a comportamenti autolesionistici o ideazioni suicide.
Chelsea Harrison, responsabile della comunicazione della piattaforma, ha sottolineato che negli ultimi mesi l’azienda ha rafforzato il proprio team dedicato alla sicurezza degli utenti, introducendo anche pop-up di avvertimento che indirizzano a linee di aiuto come la National Suicide Prevention Lifeline.
Sforzi insufficienti secondo Megan Garcia che accusa la start up di negligenza e pratiche commerciali ingannevoli, sostenendo che Character.AI abbia mancato di tutelare adeguatamente i propri utenti, soprattutto i minori.
Se un bot sembra un essere umano
L’accusa principale riguarda l’ipersessualizzazione e l’antropomorfizzazione dei bot, capaci di creare un legame emotivo così forte da influenzare negativamente il comportamento e la salute mentale dei giovani utenti. La mancanza di un adeguato monitoraggio e la gestione impropria delle interazioni problematiche rappresentano, secondo la famiglia di Sewell, una grave falla nella struttura di sicurezza della piattaforma.
Finora il dibattito pubblico sull’Ai si è concentrato sul pericolo delle fake news diffuse o generate dalla intelligenza artificiale. La vicenda di Sewell Setzer pone inevitabilmente l’accento sulle possibili ricadute emotive e sulle responsabilità delle piattaforme di intelligenza artificiale nel monitorare e regolare le esperienze degli utenti, soprattutto quando si tratta di minori o persone fragili.
Il suicidio di Sewell Setzer rappresenta un caso limite che solleva interrogativi cruciali su come bilanciare innovazione e sicurezza, soprattutto in un contesto in cui i confini tra realtà e mondo virtuale diventano sempre più sfumati.
