”Sickening” Molly Russell chatbots hittade på Character.ai

Chatbotversioner av tonåringarna Molly Russell och Brianna Ghey har hittats på Character.ai – en plattform som låter användare skapa digitala versioner av verkliga eller fiktiva människor. Molly Russell tog sitt liv vid 14 års ålder efter att ha sett självmordsmaterial online medan Brianna Ghey, 16, mördades av två tonåringar 2023. Stiftelsen som inrättades till Molly Russells minne sa att det var ”sjukt” och ett ”fullständigt förkastligt misslyckande med måtta”. Plattformen stäms redan i USA av mamman till en 14-årig pojke som hon säger tog sitt liv efter att ha blivit besatt av en Character.ai chatbot. I ett uttalande till Telegraph, som först rapporterade historien, Företaget sa att det ”tar säkerheten på vår plattform på allvar och modererar karaktärer proaktivt och som svar på användarrapporter.” Företaget verkade ha tagit bort chatbotarna efter att ha blivit uppmärksammat på dem enligt tidningen.Andy Burrows, VD för Molly Rose Foundation, sa att skapandet av botarna var en ”kränkande handling som kommer att orsaka ytterligare hjärtesorg för alla som kände och älskade Molly.” ”Det understryker tydligt varför starkare reglering av både AI och användargenererade plattformar inte kan komma snart nog”, sa han.Esther Ghey , Brianna Gheys mamma, sa till Telegraph att det var ännu ett exempel på hur ”manipulativ och farlig” onlinevärlden kan vara.Character.ai, som grundades av tidigare Google-ingenjörer Noam Shazeer och Daniel De Freitas, har användarvillkor som förbjuder använder plattformen för att ”utge sig för att vara någon person eller enhet”. I sitt ”säkerhetscenter” säger företaget att dess vägledande princip är att dess ”produkt aldrig ska ge svar som sannolikt kommer att skada användare eller andra”. Det står att de använder automatiserade verktyg och användarrapporter för att identifiera användningar som bryter mot dess regler och bygger också ett ”förtroende och säkerhet”-team. Men det noteras att ”ingen AI är perfekt för närvarande” och säkerheten i AI är ett ”utvecklande utrymme”. Character.ai är för närvarande ämnet av en rättegång väckt av Megan Garcia, en kvinna från Florida vars 14-åriga son, Sewell Setzer, tog sitt liv efter att ha blivit besatt av en AI-avatar inspirerad av en Game of Thrones-karaktär. Enligt transkriptioner av deras chattar i Garcias domstolsansökningar diskuterade hennes son att avsluta sitt liv med chatboten. I en sista konversation sa Setzer till chatboten att han ”kommer hem” – och det uppmuntrade honom att göra det ”så snart som möjligt”. Kort därefter tog han slut sitt liv. Karaktär. ai berättade för CBS News att det hade skydd specifikt inriktat på suicidalt och självskadebeteende och att det skulle införa strängare säkerhetsfunktioner för under 18 år ”omgående”.